Spark--Yarn分布式部署模式

Yarn分布式部署模式

1、安装

（1）集群规划

	hadoop102	hadoop103	hadoop104
	Spark
	NodeManager	ResourceManager	NodeManager
	NameNode	NodeManager
	DataNode	DataNode	DataNode

（2）安装

把安装包上传到/opt/software/下, 并解压到/opt/module/目录下

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module

2、修改配置文件

（1）修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认 是 true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name> 
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认 是 true --> 
<property>
<name>yarn.nodemanager.vmem-check-enabled</name> 
<value>false</value>
</property>

（2）修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR配置

export JAVA_HOME=/opt/module/jdk1.8.0_144
YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop

3、配置历史服务器

（1）修改spark-defaults.conf.template文件名为spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

（2）修改spark-default.conf文件，配置日志存储路径，设置历史服务日志的访问信息，关联yarn和spark

spark.eventLog.enabled  true
spark.eventLog.dir  hdfs://hadoop102:9000/directory
spark.yarn.historyServer.address=hadoop102:18080 
spark.history.ui.port=18080

（3） 注意：需要启动hadoop集群，HDFS上的目录需要提前存在。

sbin/start-dfs.sh
hadoop fs -mkdir /directory

（4）修改spark-env.sh文件，添加日志配置

export SPARK_HISTORY_OPTS=" 
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory 
-Dspark.history.retainedApplications=30"

参数1含义：WEB UI访问的端口号为18080

参数2含义：指定历史服务器日志存储路径(注意:hdfs://hadoop102:9000/directory 目录必须提前存在, 名字随意 )

参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

（5）启动历史服务

sbin/start-history-server.sh

4、启动HDFS以及Yarn集群

hdfs的namenode在hadoop101上，所以需要到hadoop101启动

sbin/start-dfs.sh

yarn的resourcemanager设置在hadoop102上，所以需要到hadoop102上启动

sbin/start-yarn.sh

5、提交测试应用以及查看历史页面

（1）提交应用的模式现在为cluster模式，此时控制台不会打印结果

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.11-2.1.1.jar 100

（2）提交应用的模式现在为client模式，此时控制台会打印程序的输出结果

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.1.1.jar 100
​

6、查看历史日志

http://hadoop102:18080

访问该页面后，点击对应application的history就可以查看相关的运行过程。