本文介绍了Spark的History-Server，它允许用户在应用程序执行完成后继续监控作业。History-Server配置包括启动设置，通过配置Spark应用程序可将运行信息保存到指定日志目录。在验证部分，通过Spark-shell和Web UI展示了History-Server的实时监控能力。此外，文章还提及了History-Server的重要参数和REST API，提供了进一步获取作业信息的方法。
官网：Monitoring and Instrumentation
http://spark.apache.org/docs/2.4.2/monitoring.html
1、History-Server介绍
当你执行spark-shell --master local[2]的时候
默认情况下，每个SparkContext在端口4040上启动一个web UI；如果多个sparkcontext在同一主机上运行，它们将从4040(4041、4042等)开始的连续端口启动web UI。
但是应用程序执行完成后都会sc.stop，此时再次刷新web UI发现再也无法代开，如果想继续监控未完成的作业，那么就需要History-Server，通过相应的配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定日志记录目录，而 history server可以将这些运行信息装载并以web的方式供用户浏览。
2、History-Server配置
[hadoop@vm01 ~]$ hdfs dfs -mkdir /spark-logs
[hadoop@vm01 conf
最低0.47元/天 解锁文章
8072
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
