Spark配置历史服务器

由于spark-shell停止掉后，hadoop102:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

1）修改spark-default.conf.template名称

[mischen@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径（写）

[mischen@hadoop102 conf]$ vim spark-defaults.conf

spark.eventLog.enabled          true

spark.eventLog.dir              hdfs://hadoop102:8020/directory

 

注意：需要启动Hadoop集群，HDFS上的目录需要提前存在。

[mischen@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

[mischen@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /directory

3）修改spark-env.sh文件，添加如下配置：

[mischen@hadoop102 conf]$ vim spark-env.sh

 

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080 

-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory

-Dspark.history.retainedApplications=30"

# 参数1含义：WEBUI访问的端口号为18080

# 参数2含义：指定历史服务器日志存储路径（读）

# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4）分发配置文件

[mischen@hadoop102 conf]$ xsync spark-defaults.conf spark-env.sh

5）启动历史服务

[mischen@hadoop102 spark-standalone]$

sbin/start-history-server.sh

6）再次执行任务

[mischen@hadoop102 spark-standalone]$ bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master spark://hadoop102:7077 \

--executor-memory 1G \

--total-executor-cores 2 \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

7）查看Spark历史服务地址：hadoop102:18080