Spark 监控

Spark 监控

###1.Spark官网的Monitor

地址：http://spark.apache.org/docs/2.2.0/monitoring.html

1.1 WEB UI

应用程序停止之后没有办法通过ui界面查看，要在事后查看Web UI，请在启动应用程序之前将spark.eventLog.enabled设置为true。这会将Spark配置为记录Spark事件，该事件将UI中显示的信息编码为持久存储。

Spark History Server(首先先要打开historyserver)

./sbin/start-history-server.sh

这默认情况下在http：// ：18080创建一个Web界面，列出未完成和已完成的应用程序和尝试。

然后修改spark/conf/spark-default.conf文件的参数设置

spark.eventLog.enabled true
#存储的路径改成自己需要保存的位置，目录需要提前创建
spark.eventLog.dir hdfs://hadoop001:9000/g6_directory

然后就是部分参数的设置

这个需要修改的文件是spark/conf/spark-env.sh，主要是修改SPARK_HISTORY_OPTS的相关参数

#spark.history.fs.logDirectory	这个是文件系统历史记录提供程序，包含要加载的应用程序事件日志的目录的URL。这个要跟上边的存储路径相同，上边设置存到哪里去，这边就去哪里读
SPARK_HISTORY_OPTS="-Dx=spark.history.fs.logDirectory=hdfs://hadoop001:9000/g6_directory"
#如果对jvm的参数有需要的话，可以跟上边的配置方式相同，配置jvm的参数

1.2 REST API

18080端口同时还提供了REST API这种方式以供我们定制化监控，请求端口之后返回json数据

https://Hadoop001:10080/api/v1/applications

这种请求方式来请求所有的application，官网的文档有详细的请求参数配置

1.3 Metrics

metrics信息在spark/conf/metrics.properties这个文件配置