1. spark-defaults.conf中添加配置,开启eventLog并指定存放路径:
spark.eventLog.enabled=true
spark.eventLog.compress=true
spark.eventLog.dir=hdfs://XXX:9000/spark_eventlog/
2. $SPARK_HOME/sbin下,执行 ./start-history-server.sh 启动history-server:
需要注意的是,start-history-server.sh后接参数指定spark.eventLog.dir的值,指定hdfs://XXX:9000/spark_eventlog/,如下:
./start-history-server.sh hdfs://XXX:9000/spark_eventlog/
不然会使用默认路径