前言
方便自己后面需要搭建的时候看看笔记就可以
准备工作
机器分布
node01 | node02 | node03 |
---|---|---|
history-server |
环境变量
配置文件
- spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://node01:9001/spark_log
spark.history.fs.logDirectory hdfs://node01:9001/spark_log
- 将整包发送到node02,node03
scp spark-defaults.conf node02:`pwd`
scp spark-defaults.conf node03:`pwd`
启动之前
启动/停止
[root@node01 sbin]# ./start-history-server.sh
[root@node01 sbin]# ./stop-history-server.sh
web ui
http://node01:18080