Spark的监控系统

常用的Spark监控系统有，Web UI和Spark的History-Server

一，web界面

1，界面的基本介绍

每一个Spark应用程序都会启动一个spark ui，默认端口是4040端口，用于展示对应用程序有用的信息。包括以下信息：

1)，stages和tasks列表。

2)，RDD大小的总概和内存使用。

3)，运行环境信息。

4)，运行的Executors状态。

你可以在浏览器输入： http://<driver-node>:4040访问该界面。如果多个SparkContexts在同一台主机上运行，则它们将以4040（4041，4042等）开始绑定到连续的端口。请注意，默认情况下，这些信息只会在程序运行期间可以查看。在程序运行结束后查看webUI，需要在启动应用程序前设置spark.eventLog.enabled为true。这配置spark会将显示在web ui上的spark events存储到存储系统中去。

 

2，spark的historyServer

只要应用程序的事件日志存在，仍然可以通过Spark的历史记录服务器构建应用程序的UI。通过执行下面的命令，启动历史服务器：

./sbin/start-history-server.sh

默认情况下，这将在http：// <server-url>：18080创建一个Web界面，列出未完成和已完成的应用程序和尝试。

 

如何配置Spark的HistoryServer

官网：http://spark.apache.org/docs/latest/monitoring.html

 

1、更改Spark-default.conf  

spark.eventLog.enabled                 true

spark.eventLog.dir                        hdfs://命名空间/(hdfs上创建一个目录)

 

2、更改spark-env.sh

SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=  hdfs://命名空间/(hdfs上创建一个目录)"

 

http://hadoop000:18080/  启动即可