Spark之配置Job History Server

首先进入到Spark安装目录下的配置文件：

cd /home/groot/soft/spark/conf

将spark-default.conf.template复制为spark-defaults.conf:

cp spark-defaults.conf.template spark-defaults.conf

修改spark-defaults.conf文件，开启Log:

vi spark-defaults.conf

修改内容：

这里需要注意：首先得确认自己的hdfs的端口号，我的是8020，如果不清楚自己的端口号，可以去查看一下：

另外还需注意的是你要确保自己的hdfs里面有directory这个相应的目录文件夹：

修改spark-env.sh文件，添加如下配置：

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 
-Dspark.history.retainedApplications=3 
-Dspark.history.fs.logDirectory=hdfs://master:9000/directory"

参数描述：spark.eventLog.dir:Application在运行过程中所有的信息均记录在该属性指定的路径下：

spark.history.ui.port=7077 调整WEBUI访问的端口号为7077

spark.history.fs.logDirectory=hdfs://master:9000/directory 配置了该属性后，在start-history-server.sh

时就无需再显式的指定路径，Spark History Server页面只展示该指定路径下的信息

spark.history.retainedApplications=3 指定保存Application历史记录的个数，如果超过这个值，旧的应

用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

将配置好的Spark文件拷贝到其他节点上：

scp spark-defaults.conf slave1:/home/groot/soft/spark/conf
scp spark-defaults.conf slave2:/home/groot/soft/spark/conf
scp spark-env.sh slave1:/home/groot/soft/spark/conf
scp spark-env.sh slave2:/home/groot/soft/spark/conf

这个时候，将Hadoop集群跟spark启动，同时进入spark的sbin目录下启动history执行：

./start-history-server.sh

完成后就可以去网页端查看了：

master:4000

这个时候就会出来History Server的WebUI界面