Spark 配置History

首先在spark-defaults.conf中添加线面两行：

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master.domain.com:9000/log/sparkLogs

在spark-env.sh中添加下面两行：

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://master.domain.com:9000/log/sparkLogs"
export SPARK_PUBLIC_DNS=master.domain.com

然后重新启动spark和history：

cd spark-install-dir
./sbin/stop-all.sh
./sbin/start-all.sh
./sbin/start-history-server.sh 

此时访问服务器，就会看到History Server已经启动了：

http://master.domain.com:18080