Spark JobHistoryServer配置

在spark配置文件目录下：/usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.7/conf

1）修改 spark-default.conf.template 名称
mv spark-defaults.conf.template spark-defaults.conf
2）修改 spark-default.conf 文件，开启 Log：
vim spark-defaults.conf

spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/directory

注意：HDFS 上的目录需要提前存在。

3）修改 spark-env.sh 文件，添加如下配置：

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://master:9000/directory"

参数描述：
spark.eventLog.dir：Application 在运行过程中所有的信息均记录在该属性指定的路径下
spark.history.ui.port=18080 WEBUI 访问的端口号为 18080
spark.history.fs.logDirectory=hdfs://master9000/directory 配置了该属性后，在 start-history-server.sh 时就无需再显式的指定路径，Spark History Server 页面只展示该指定路径下的信息
spark.history.retainedApplications=30 指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
4）分发配置文件
[root@master conf]#  xsync spark-defaults.conf
[root@master conf]#  xsync spark-env.sh

我使用的是scp
5）启动历史服务
[root@master spark-2.1.1-bin-hadoop2.7]# sbin/start-history-server.sh
6）再次执行任务
[root@master spark-2.1.1-bin-hadoop2.7]#  

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

7）查看历史服务
192.168.187.100:18080/