Spark系列——运行模式（三）Yarn模式配置（详解）

yarn模式

00_介绍

Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。

yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。

Yarn运行模式如图：

01_配置

1.1，修改hadoop的配置文件 yarn-site.xml，完了分发给其他节点。

由于我们的测试环境虚拟机太少，防止将来任务被意外杀死。

cd /usr/hadoop/hadoop-2.10.0/etc/hadoop/
vi yarn-site.xml 
#添加以下在configuration标签中间
<!--是否启动一个线程检查每个任务正使用的物理内存量。如果任务使用的内存量超出分配值，则会被中断。默认是true -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
<!--是否启动一个线程检查每个任务正在使用的虚拟内存量。如果任务使用的内存量分配超出分配值，会被选择中断。默认是true-->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
#分发    
scp -r yarn-site.xml slave1:/usr/hadoop/hadoop-2.10.0/etc/hadoop/
scp -r yarn-site.xml slave2:/usr/hadoop/hadoop-2.10.0/etc/hadoop/

1.2，复制spark，并命名为spark-yarn

cp -r spark-2.4.0-bin-hadoop2.7 spark-yarn

1.3，修改spark-env.sh文件

mv spark-env.sh.template spark-env.sh
for i in *.template; do mv ${i} ${i%.*}; done
HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.10.0/etc/hadoop

1.4，修改环境变量

vi /etc/profile
export SPARK_HOME=/usr/hadoop/spark-yarn
export PATH=$PATH:$SPARK_HOME/sbin:$SPARK_HOME/bin
source /etc/profile

1.5，添加历史服务

1.5.1配置env.sh

vi spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://node1:8020/spark-logs-yarn"

1.5.2 创建日志目录，hadoop得开启才行

 bin/hadoop fs -mkdir /spark-logs-yarn

1.5.3配置defaults.conf

vi spark-defaults.conf 
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://node1:8020/spark-logs-yarn

1.6，例子

从spark-shell日志中看到spark-shell --master yarn-client命令从Spark2.0开始废弃了，可以换成spark-shell --master yarn --deploy-mode client。

注意：
（1）在提交任务之前需启动HDFS以及YARN集群。
（2）若对hadoopUI页面访问端口号有疑问，可参考文章大数据平台——Hadoop环境配置

(1) 在shell中

spark-shell --master yarn --deploy-mode client
scala> val rdd=sc.parallelize(1 to 100,5)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:24

scala> rdd.count
res0: Long = 100   

(2) 直接在spark-yarn

bin/spark-submit \
--master yarn \
--class org.apache.spark.examples.SparkPi \
--deploy-mode client \
./examples/jars/sp,,,,, \ #架包的路径
100

02_总结

（1）单机和yarn模式不能配到一台上，配置spark环境变量会冲突，而且yarn-UI也访问不了

（2）yarn模式不需要配spark的集群，用它的时候先把hadoop启动