Spark on Yarn环境搭建

解压文件

 修改文件名

配置环境变量 

 修改 hadoop 配置文件/opt/hadoop/etc/hadoop/yarn-site.xml

 修改 conf/spark-env.sh，添加 JAVA_HOME 和YARN_CONF_DIR 配置

 提交测试

---

解压文件

tar -zxvf spark-3.1.1-bin-hadoop3.2.tgz -C /opt

 修改文件名

mv spark-3.1.1-bin-hadoop3.2/ spark-3.1.1

配置环境变量 

vim /etc/profile

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile

 修改 hadoop 配置文件/opt/hadoop/etc/hadoop/yarn-site.xml

         添加以下内容：

vim /opt/hadoop-3.1.3/etc/hadoop/yarn-site.xml

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>

 修改 conf/spark-env.sh，添加 JAVA_HOME 和YARN_CONF_DIR 配置

mv spark-env.sh.template spark-env.sh把这个文件后缀名改一下

vim spark-env.sh 添加下面的配置

export JAVA_HOME=/opt/jdk1.8
export YARN_CONF_DIR=/opt/hadoop-3.1.3/etc/hadoop 

 提交测试

spark-submit --master yarn --class org.apache.spark.examples.SparkPi  $SPARK_HOME/examples/jars/spark-examples_2.12-3.1.1.jar