spark history server部署

最新推荐文章于 2024-09-25 08:44:55 发布

ShyieZhang

最新推荐文章于 2024-09-25 08:44:55 发布

阅读量1.4k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/shie_3/article/details/80301130

版权

本文介绍了如何部署和配置Spark History Server，包括修改spark-default.conf文件，设置事件日志目录，启动服务，并通过History Server查看Spark应用的历史记录。重点讨论了关键配置参数如spark.eventLog.enabled, spark.eventLog.dir等，并提供了启动脚本和访问History Server的步骤。" 109931841,10294406,Python实现数字和与乘积转换,"['Python编程', '条件语句', '函数定义']

摘要由CSDN通过智能技术生成

spark history server是spark提供的spark应用历史数据查询服务，可以通过history server页面查看已经运行结束的spark应用的所有job执行情况，用于分析，因为spark集群保存的spark应用数量和每个应用的job数量有一定的限制，对于时间比较久远的应用或者应用的job数据无法在spark的web ui查看到并进行分析。所以spark提供了history server服务用于对spark应用的历史数据进行管理、查看、分析。

1、配置

history server相关配置介绍

history server相关的配置可以写在spark-default.conf文件，也可以
相关配置参数如下：
spark.eventLog.enabled 是否启动spark事件日志，默认false，既关闭
spark.eventLog.dir spark事件日志存储目录路径，默认/tmp/spark-events，强烈建议配置为hdfs路径
spark.eventLog.compress 是否对事件日志进行压缩，默认false；如果开启压缩，使用配置参数spark.io.compression.codec指定的压缩算法，该参数默认压缩算法为lz4。
spark.history.provider 一个ApplicationHistoryProvider抽象类的实现类，用于从从存储在文件系统中的事件日志获取应用的历史信息。目前默认实现类为FsHistoryProvider。
spark.history.fs.logDirectory job日志存储路径，目录必须已经创建，默认值为/tmp/spark-events，建议将目录配置为hdfs路径，这样当app和history ser