yarn-spark-cluster配置history server并通过YARN跳转spark-ui

1、在yarn-site.xml 添加代码(分发，重启)

<!--开启日志-->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!--设置日志过期时间-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2、修改spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop001:8020/sparkHistoryLog -Dspark.history.retainedApplication=30"

3、修改spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop001:8020/sparkHistoryLog
spark.yarn.historyServer.address=hadoop001:18080
spark.history.ui.port=18080

注意 3点的sparkHistoryLog文件夹需要与 2点里面的sparkHistoryLog一致
spark.eventLog.enabled 开启spark历史日志
spark.yarn.historyServer.address 规定历史日志的访问地址
spark.history.ui.port 规定历史日志的访问端口
hdfs://hadoop001:8020 这个地址需要与core-site.xml中一致

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop001:8020</value>
</property>

4、在hadoop中创建一个文件夹

hadoop fs -mkdir /sparkHistoryLog

5、提交一个spark应用

6、点击yarn控制台中ApplicationMaster

即可跳转到sparkUI界面