1、停止集群
2、配置spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=50 -Dspark.history.fs.logDirectory=hdfs://centos-5:9001/spark-event"
3、重启集群
4、启动history server
5、运行spark-shell,在standalone模式下和yarn模式下,分别执行一个作业
6、通过centos-4:18080的HistoryServer UI可以看到所有运行后的作业信息