Spark： history Server

最新推荐文章于 2024-04-27 16:09:31 发布

九师兄

最新推荐文章于 2024-04-27 16:09:31 发布

阅读量3.7k

点赞数

分类专栏：大数据-spark 文章标签： spark history

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/76615407

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

Spark History Server是在Spark应用程序完成后查看历史记录的解决方案。它记录日志事件，允许用户在Application执行后通过WebUI查看运行时信息。配置关键属性包括：`spark.eventLog.enabled`（开启事件记录）、`spark.eventLog.dir`（事件记录的根目录）、`spark.eventLog.compress`（压缩事件记录）。在HDFS上创建存储目录，并在`spark-env.sh`中设置`spark.history.ui.port`（WebUI端口）、`spark.history.retainedApplications`（缓存的应用程序数量）和`spark.history.fs.logDirectory`（历史记录文件目录）。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.Spark history Server产生背景

以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录；

Spark history Server就是为了应对这种情况而产生的，通过配置可以在Application执行的过程中记录下了日志事件信息，那么在Application执行结束后，WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息；

Spark运行在yarn或者mesos之上，通过spark的history server仍然可以重构出一个已经完成的Application的运行时参数信息（假如Application运行的事件日志信息已经记录下来）；

配置&使用Spark History Server
以默认配置的方式启动spark history server：<

了解本专栏