Spark History Server:
在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录。
Spark history Server就是为了应对这种情况而产生的,通过配置可以在Application执行的过程中记录下了日志事件信息,那么在Application执行结束后,WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息。
配置如下:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://node:9000/sparkLog //Spark 事件日志的文件路径。
spark.history.fs.logDirectory hdfs://node:9000/sparkLog //history server加载历史数据的目录
然后启动stop-history-server.sh脚本即可,系统会多一个HistoryServer进程!默认端口:18080
打开地址:http://node:18080 既可以看到历史App的信息!
注意:不要使用360浏览器,360浏览器无法加载这个页面,不兼容!这个问题浪费了我一个小时!
更多配置如下: