Spark 监控
###1.Spark官网的Monitor
地址:http://spark.apache.org/docs/2.2.0/monitoring.html
1.1 WEB UI
应用程序停止之后没有办法通过ui界面查看,要在事后查看Web UI,请在启动应用程序之前将spark.eventLog.enabled设置为true。这会将Spark配置为记录Spark事件,该事件将UI中显示的信息编码为持久存储。
Spark History Server(首先先要打开historyserver)
./sbin/start-history-server.sh
这默认情况下在http:// :18080创建一个Web界面,列出未完成和已完成的应用程序和尝试。
然后修改spark/conf/spark-default.conf文件的参数设置
spark.eventLog.enabled true
#存储的路径改成自己需要保存的位置,目录需要提前创建
spark.eventLog.dir hdfs://hadoop001:9000/g6_directory
然后就是部分参数的设置
这个需要修改的文件是spark/conf/spark-env.sh,主要是修改SPARK_HISTORY_OPTS的相关参数
#spark.history.fs.logDirectory 这个是文件系统历史记录提供程序,包含要加载的应用程序事件日志的目录的URL。这个要跟上边的存储路径相同,上边设置存到哪里去,这边就去哪里读
SPARK_HISTORY_OPTS="-Dx=spark.history.fs.logDirectory=hdfs://hadoop001:9000/g6_directory"
#如果对jvm的参数有需要的话,可以跟上边的配置方式相同,配置jvm的参数
1.2 REST API
18080端口同时还提供了REST API这种方式以供我们定制化监控,请求端口之后返回json数据
https://Hadoop001:10080/api/v1/applications
这种请求方式来请求所有的application,官网的文档有详细的请求参数配置
1.3 Metrics
metrics信息在spark/conf/metrics.properties这个文件配置