配置Spark history server

问题描述：启动sbin/start-history-server.sh，jps下无historyserver进程，查看日志，显示如下错误。

原因分析：

1）查看$SPARK_HOME/conf，发现未配置spark-default.conf；

2）将spark.fs.history.logDirectory配置到conf/spark-defaults.conf目录里，发现并不起作用

解决方法：

1）配置$SPARK-HOME/conf/spark-defaults.conf

[hadoop@Master conf]$ cpspark-defaults.conf.template spark-defaults.conf

[hadoop@Master conf]$ vispark-defaults.conf

添加以下相关参数。

spark.eventLog.enabled           true

spark.eventLog.dir               hdfs://Master:9000/user/hadoop/sparkhistorylogs

spark.history.ui.port              18080

spark.history.fs.logDirectory      hdfs://Master:9000/user/hadoop/sparkhistorylogs

2）在hdfs创建spark logs存储目录。

[hadoop@Master conf]$ hdfs dfs