HA模式下安装spark-yarn

0）停止Standalone模式下的spark集群

[atguigu@hadoop102 spark-standalone]$ sbin/stop-all.sh

[atguigu@hadoop102 spark-standalone]$ zk.sh stop

[atguigu@hadoop103 spark-standalone]$ sbin/stop-master.sh

1）为了防止和Standalone模式冲突，再单独解压一份spark

[atguigu@hadoop102 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

2）进入到/opt/module目录，修改spark-3.0.0-bin-hadoop3.2名称为spark-yarn

[atguigu@hadoop102 module]$ mv spark-3.0.0-bin-hadoop3.2/ spark-yarn

3）修改hadoop配置文件/opt/ha/hadoop-3.1.3/etc/hadoop/yarn-site.xml，添加如下内容

因为测试环境虚拟机内存较少，防止执行过程进行被意外杀死，做如下配置

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

<property>

     <name>yarn.nodemanager.pmem-check-enabled</name>

     <value>false</value>

</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

<property>

     <name>yarn.nodemanager.vmem-check-enabled</name>

     <value>false</value>

</property>

4）分发配置文件

[atguigu@hadoop102 conf]$ xsync /opt/ha/hadoop-3.1.3/etc/hadoop/yarn-site.xml

5）修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径

[atguigu@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh

[atguigu@hadoop102 conf]$ vim spark-env.sh

YARN_CONF_DIR=/opt/ha/hadoop-3.1.3/etc/hadoo

6）启动HDFS以及YARN集群

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

7）执行一个程序

[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

参数：--master yarn，表示Yarn方式运行；--deploy-mode表示客户端方式运行程序

9）查看hadoop103:8088页面，点击History，查看历史页面