大数据学习Spark——Yarn模式（实战配置及历史服务器）

1 解压缩文件

将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到linux并解压缩，放置在指定位置。

tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/module

cd /opt/module 

mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-yarn

spark2.4.5默认不支持Hadoop3，可以采用多种不同的方式关联Hadoop3

Ø 修改spark-local/conf/spark-env.sh文件，增加如下内容

SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-3.1.3/bin/hadoop
classpath)

Ø 除了修改配置文件外，也可以直接引入对应的Jar包

2 修改配置文件

1) 修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true-->
<property>
  <name>yarn.nodemanager.pmem-check-enabled</name>
  <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true-->
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

2) 修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR配置

 mv spark-env.sh.template spark-env.sh

 export JAVA_HOME=/opt/module/jdk1.8.0_212
 YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

3 启动HDFS以及YARN集群

 start-yarn.sh 

4 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-2.4.5.jar \
10

查看http://hadoop102:8088页面，点击History，查看历史页面

5 配置历史服务器

1) 修改spark-defaults.conf.template文件名为spark-defaults.conf

 mv spark-defaults.conf.template spark-defaults.conf

2) 修改spark-default.conf文件，配置日志存储路径

spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop101:8020/directory

注意：需要启动hadoop集群，HDFS上的目录需要提前存在。

 sbin/start-dfs.sh
 hadoop fs -mkdir /directory

3) 修改spark-env.sh文件, 添加日志配置

 export SPARK_HISTORY_OPTS="
 -Dspark.history.ui.port=18080 
 -Dspark.history.fs.logDirectory=hdfs://hadoop101:8020/directory
 -Dspark.history.retainedApplications=30"

l 参数1含义：WEB UI访问的端口号为18080

l 参数2含义：指定历史服务器日志存储路径

l 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4) 修改spark-defaults.conf

spark.yarn.historyServer.address=hadoop101:18080
spark.history.ui.port=18080

5) 启动历史服务

sbin/start-history-server.sh 

6) 重新提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-2.4.5.jar \
10

Web页面查看日志：http://hadoop102:8088