1、在yarn-site.xml 添加代码(分发,重启)
<!--开启日志-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--设置日志过期时间-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2、修改spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop001:8020/sparkHistoryLog -Dspark.history.retainedApplication=30"
3、修改spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop001:8020/sparkHistoryLog
spark.yarn.historyServer.address=hadoop001:18080
spark.history.ui.port=18080
注意 3点的sparkHistoryLog文件夹需要与 2点里面的sparkHistoryLog一致
spark.eventLog.enabled 开启spark历史日志
spark.yarn.historyServer.address 规定历史日志的访问地址
spark.history.ui.port 规定历史日志的访问端口
hdfs://hadoop001:8020 这个地址需要与core-site.xml中一致
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:8020</value>
</property>
4、在hadoop中创建一个文件夹
hadoop fs -mkdir /sparkHistoryLog
5、提交一个spark应用
6、点击yarn控制台中ApplicationMaster
即可跳转到sparkUI界面