如何查看Spark的历史运行情况

平时当Spark程序运行时，通过在浏览器当中输入 spark-master-ip:4040 查看Spark运行的情况和信息，但是当程序运行结束时，4040页面就打不开了。

原来可以通过设置配置文件，查看历史运行情况。

1. 打开Spark conf目录下的spark-defaults.conf文件

2. 在其中配置如下信息：

spark.eventLog.enabled              true
spark.eventLog.dir                  hdfs://spark-master:9000/hadoop/spark/sparklogs
spark.yarn.historyServer.address    spark-master:18080

3. 然后进入spark sbin目录下启动HistoryServer：

./start-history-server.sh   hdfs://spark-master:9000/hadoop/spark/sparklogs

注意：
(1). 一定要加上目录
(2). 事先要将该目录先建好

4. 通过以上步骤后，我们就可以打开 spark-master-ip:18080 查看历史运行过的程序了。