History Server及其配置
以默认配置的方式启动spark history server:
cd $SPARK_HOME/sbin
start-history-server.sh
启动完成之后可以通过WEBUI访问,默认端口是18080:http://vmaxspark:18080
以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS
属性名 | 默认值 | 含义 |
spark.history.fs.logDirectory |
file:/tmp/spark-events |
history server读取event log的目录 |