spark JobHistoryServer 的配置

spark JobHistoryServer配置

1.前提安装完成spark集群
2.配置
1）修改spark-default.conf.template名称
mv spark-defaults.conf.template spark-defaults.conf
2) 修改spark-default.conf文件，开启Log：
vi spark-defaults.conf 修改如下内容，注意：HDFS上的目录需要提前存在。
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:9000/directory
3）修改spark-env.sh文件，添加如下配置：
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory"
4）把修改完的文件spark-env.sh spark-default.conf分发到集群各个节点
5）在集群任何节点启动历史服务
sbin/start-history-server.sh
6)历时服务web ui
节点ip:端口
段都为上面配置的18080

这样就配置好了