Spark History Server之坑爹的360安全浏览器

最新推荐文章于 2023-07-05 17:06:28 发布

AnQ17

最新推荐文章于 2023-07-05 17:06:28 发布

阅读量1.6k

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/AnQ17/article/details/70185010

版权

Spark History Server：

在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录。
Spark history Server就是为了应对这种情况而产生的，通过配置可以在Application执行的过程中记录下了日志事件信息，那么在Application执行结束后，WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息。

配置如下：

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://node:9000/sparkLog //Spark 事件日志的文件路径。
spark.history.fs.logDirectory    hdfs://node:9000/sparkLog //history server加载历史数据的目录

然后启动stop-history-server.sh脚本即可，系统会多一个HistoryServer进程！默认端口：18080

打开地址：http://node:18080 既可以看到历史App的信息！

注意：不要使用360浏览器，360浏览器无法加载这个页面，不兼容！这个问题浪费了我一个小时！