由于spark-shell停止掉后,hadoop102:4040页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。
1)修改spark-default.conf.template名称
[mischen@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf
2)修改spark-default.conf文件,配置日志存储路径(写)
[mischen@hadoop102 conf]$ vim spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/directory
注意:需要启动Hadoop集群,HDFS上的目录需要提前存在。
[mischen@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[mischen@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /directory
3)修改spark-env.sh文件,添加如下配置:
[mischen@hadoop102 conf]$ vim spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory
-Dspark.history.retainedApplications=30"
# 参数1含义:WEBUI访问的端口号为18080
# 参数2含义:指定历史服务器日志存储路径(读)
# 参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。
4)分发配置文件
[mischen@hadoop102 conf]$ xsync spark-defaults.conf spark-env.sh
5)启动历史服务
[mischen@hadoop102 spark-standalone]$
sbin/start-history-server.sh
6)再次执行任务
[mischen@hadoop102 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
7)查看Spark历史服务地址:hadoop102:18080