spark on yarn 配置
解压安装
1.1解压Scala
tar -zxvf scala-2.11.8.tgz -C /usr/project/
1.2解压Spark
tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /usr/project/
1.3配置环境变量
vi /etc/profile
注意:在写环境变量前已经将Scala和Spark的名字重命名(因为名字太长太复杂 [/狗头])
#scala
export SCALA_HOME=/usr/project/scala
export PATH=$PATH:$SCALA_HOME/bin
#spark
export SPARK_HOME=/usr/project/spark
export PATH=$PATH:$SPARK_HOME/bin
重新加载环境变量
注意:下面两个命令意思相同可自行选择
. /etc/profile
source /etc/profile
1.4配置Spark
1.4.1重命名
进入conf下
/usr/project/spark/conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves
1.4.2配置spark-env.sh
在最底部添加!
export HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
export YARN_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
1.4.3向yarn-site.xml添加配置
cd 进入:/usr/project/hadoop-2.7.7/etc/hadoop
vi yarn-site.xml
注意*是内部添加
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4</value>
</property>
1.5启动Hadoop
start-all.sh
或者
start-dfs.sh、start-yarn.sh
使用spark运行在yarn上
spark-shell --master yarn --deploy-mode client
1.5.1查看yarn web
ip:8088
成功!!!!