Spark集群下开启history server

1. 创建存放log文件的路径

cd /usr/local/hadoop/bin

#hadoop/bin的路径，若设hadoop安装路径为环境变量，则不用运行上述命令

hdfs dfs -mkdir -p hdfs://master:9000/spark-events

hdfs dfs -ls ./tmp #出现spark-event说明成功

2. 修改conf文件下的spark-defaults。

cd /usr/local/spark/conf#spark安装路径

cp spark-defaults.conf.template spark-defaults.conf

#默认下没有spark-defaults.conf,故拷贝一份，在拷贝文件上修改

sudo vim spark-defaults.conf

#按i,插入以下内容

spark.eventLog.enabled           true

spark.eventLog.dir               hdfs://master:9000/tmp/spark-events

spark.eventLog.compress          true

#按esc退出，输入:wq保存

#拷贝该文件给子结点slave01

scp ./conf/spark-defaults.conf hadoop@slave01:/usr/local/spark/conf/

#出现spark-defaults.conf     100% 1709     1.7KB/s   00:00即远程拷贝成功

3. 修改conf文件下的spark-env.sh

cd /usr/local/spark/conf

sudo vim spark-env.sh

#按i,插入以下内容：

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:9000/tmp/spark-events"

#按esc退出，输入:wq保存

#拷贝该文件给子结点slave01

scp ./conf/ spark-env.sh hadoop@slave01:/usr/local/spark/conf/

4. 启动sparK-history server

cd /usr/local/spark

./sbin/start-history-server.sh

#用jps查询进程可以看到出现HistoryServer

#可在浏览器地址栏中输入你的masterip地址:18080开启webui端