在你的spark路径的conf文件中,cp拷贝spark-defaults.conf.template为spark-defaults.conf
并在文件后面加上
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/history
spark.eventLog.compress true
将配置分发到其他子节点我使用的是rsync
rsync sparkconf路径/spark-defaults.conf 子节点ip: sparkconf路径/spark-defaults.conf
启动spark history server,在主节点上执行
spark路径/sbin/start-history-server.sh hdfs://master:9000/history
!!!后面接的那个路径一定要和在conf中设置的一样,如果不接这个参数,默认值是本地的/tmp/spark-events