关闭

spark UI 显示已完成应用的历史信息

标签: spark
90人阅读 评论(0) 收藏 举报
分类:

1,在HDFS 上创建放历史文件的目录

2,配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录”

3,配置spark-defaults.conf 的spark.eventLog.enabled=truespark.eventLog.dir=第一步创建的目录spark.eventLog.compress=true

4,启动spark-history-server  sbin/start-history-server.sh 第一步创建的目录.


saprk应用未执行sc.stop 程序不会结束,历史信息也不会写入。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:2742次
    • 积分:94
    • 等级:
    • 排名:千里之外
    • 原创:6篇
    • 转载:6篇
    • 译文:0篇
    • 评论:0条
    文章分类