1,在HDFS 上创建放历史文件的目录
2,配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录”
3,配置spark-defaults.conf 的spark.eventLog.enabled=true,spark.eventLog.dir=第一步创建的目录,spark.eventLog.compress=true
4,启动spark-history-server sbin/start-history-server.sh 第一步创建的目录.
saprk应用未执行sc.stop 程序不会结束,历史信息也不会写入。