Spark History Server:
在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录。
Spark history Server就是为了应对这种情况而产生的,通过配置可以在Application执行的过程中记录下了日志事件信息,那么在Application执行结束后,WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息。
配置如下:
然后启动stop-history-server.sh脚本即可,系统会多一个HistoryServer进程!默认端口:18080
打开地址:http://node:18080 既可以看到历史App的信息!
注意:不要使用360浏览器,360浏览器无法加载这个页面,不兼容!这个问题浪费了我一个小时!
更多配置参考官方文档:http://spark.apache.org/docs/latest/monitoring.html
同时可以使用REST API获取 Job信息:http://node:18080/api/v1/applications/获取所有的Job的Json信息
http://node:18080/api/v1/applications/application_1491290118877_0021 获取JobId为application_1491290118877_0021的Json信息