Spark Yarn模式的安装与使用

Yarn模式（重点）

Spark客户端直接连接Yarn，不需要额外构建Spark集群。

1 安装使用

0）停止Standalone模式下的spark集群

[mischen@hadoop102 spark-standalone]$ sbin/stop-all.sh

[mischen@hadoop102 spark-standalone]$ zk.sh stop

[mischen@hadoop103 spark-standalone]$ sbin/stop-master.sh

1）为了防止和Standalone模式冲突，再单独解压一份spark

[mischen@hadoop102 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

2）进入到/opt/module目录，修改spark-3.0.0-bin-hadoop3.2名称为spark-yarn

[mischen@hadoop102 module]$ mv spark-3.0.0-bin-hadoop3.2/ spark-yarn

3）修改hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml，添加如下内容

因为测试环境虚拟机内存较少，防止执行过程进行被意外杀死，做如下配置

[mischen@hadoop102 hadoop]$ vim yarn-site.xml

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

<property>

     <name>yarn.nodemanager.pmem-check-enabled</name>

     <value>false</value>

</property>

 

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

<property>

     <name>yarn.nodemanager.vmem-check-enabled</name>

     <value>false</value>

</property>

4）分发配置文件

[mischen@hadoop102 conf]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

5）修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径

[mischen@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh

[mischen@hadoop102 conf]$ vim spark-env.sh

 

YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

6）启动HDFS以及YARN集群

[mischen@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

[mischen@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

7）执行一个程序

[mischen@hadoop102 spark-yarn]$ bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

参数：--master yarn，表示Yarn方式运行；--deploy-mode表示客户端方式运行程序

8）如果运行的时候，抛出如下异常ClassNotFoundException:com.sun.jersey.api.client.config.ClientConfig

-原因分析：Spark2中jersey版本是2.22，但是yarn中还需要依赖1.9，版本不兼容

-解决方式：在yarn-site.xml中，添加

<property>

<name>yarn.timeline-service.enabled</name>

<value>false</value>

</property>

9）查看hadoop103:8088页面，点击History，查看历史页面