spark JobHistoryServer配置
1.前提安装完成spark集群
2.配置
1)修改spark-default.conf.template名称
mv spark-defaults.conf.template spark-defaults.conf
2) 修改spark-default.conf文件,开启Log:
vi spark-defaults.conf 修改如下内容,注意:HDFS上的目录需要提前存在。
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:9000/directory
3)修改spark-env.sh文件,添加如下配置:
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory"
4)把修改完的文件spark-env.sh spark-default.conf分发到集群各个节点
5)在集群任何节点启动历史服务
sbin/start-history-server.sh
6)历时服务web ui
节点ip:端口
段都为上面配置的18080
这样就配置好了