配置 Spark HistoryServer

第一步：

cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7/conf
cp spark-defaults.conf.template spark-defaults.conf
在文件里面添加如下内容：
spark.eventLog.enabled     true
spark.eventLog.dir     hdfs://myha01/ssparklog

 第二步：

在 spark-evn.sh 的文件里面添加如下内容：
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://myha01/sparklog"

第三步：

在启动 HistorServer 服务之前 hdfs://myha01/sparklog 目录要提前创建
hadoop fs -mkdir -p hdfs://myha01/sparklog

第四步：

启动 Spark HistoryServer
[hadoop@hadoop02 ~] $SPARK_HOME/sbin/start-history-server.sh

第五步：

访问 Spark History WebUI：http://hadoop02:18080/