本文介绍了如何配置Spark History Server，以便集中查看所有的application日志。主要步骤包括在`spark-defaults.conf`中设置地址和端口，启用event log，并指定存储路径；在`spark-env.sh`中配置日志目录；通过运行示例程序并检查History Server UI页面来验证配置是否成功。
1、配置 spark-defaults.conf
增加如下配置：
spark.yarn.historyServer.address=phadoop102:18080
spark.history.ui.port=18080
spark.eventLog.enabled true
spark.eventLog.dir hdfs://phadoop102:9000/historyserverforSpark
2、配置spark-env.sh
增加如下配置：
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://phadoop102:9000/historyserverforSpark"
3、测试，打开 history server 地址，如下所示
4、运行程序，比如：
最低0.47元/天 解锁文章
扫一扫
1599
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
