配置 Spark HistoryServer

第一步：
cd /home/hadoop/apps/spark-2.3.2-bin-hadoop2.7/conf
cp spark-defaults.conf.template spark-defaults.conf
在文件里面添加如下内容：
spark.eventLog.enabled              true
spark.eventLog.dir                       hdfs://myha01/sparklog

第二步：
在 spark-evn.sh 的文件里面添加如下内容：
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://myha01/sparklog"

第三步：
在启动 HistorServer 服务之前 hdfs://myha01/sparklog 目录要提前创建
hadoop fs -mkdir -p hdfs://myha01/sparklog

第四步： 启动 Spark HistoryServer
[hadoop@hadoop02 ~] $SPARK_HOME/sbin/start-history-server.sh

第五步： 访问 Spark History WebUI
http://hadoop02:18080/