部署Spark的历史服务器---Spark History Server

部署Spark的历史服务器—Spark History Server

一、配置spark历史服务器

此操作是建立在“部署基于Standalone模式部署Spark集群”之上的，也是我的上一篇博客

https://editor.csdn.net/md/?articleId=109015894

1.1、进入Spark安装目录下的conf目录

cd /usr/spark/spark-2.4.7-bin-hadoop2.7/conf/

1.2、编辑spark-default.conf文件，

找到

# spark.eventLog.enabled           true
# spark.eventLog.dir               hdfs://namenode:8020/directory

改为：(8020为你的master主机端口号)，可在Hadoop安装目录下的core.site.xml文件中查看

cd /usr/hadoop/hadoop-2.10.0/etc/hadoop/
cat core-site.xml

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master:8020/spark-logo

1.3、在HDFS中创建spark-logs目录

开发者必须提前在HDFS中创建“hdfs://master:8020/spark-logo”目录，否则 “spark.eventLog.dir”属性不会生效。

进入Hadoop安装目录

cd /usr/hadoop/hadoop-2.10.0/

启动Hadoop

start-all.sh

执行下列命令：

bin/hadoop fs -mkdir /spark-logs

在文档末尾添加：

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retained-Applications=3 Dspark.history.fs.logDirectory=hdfs://192.168.64.3:8020/spark-logs"

5.将配置好的文件分发到其他主机

分发给slave1

cd /usr/spark/spark-2.4.7-bin-hadoop2.7/conf	

scp spark-defaults.conf slave1:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/
scp spark-env.sh slave1:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/

分发给slave2

scp spark-defaults.conf slave2:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/
scp spark-env.sh slave2:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/

二、启动并查看Spark历史服务

1、启动Spark的Master、Woker服务

进入第一台主机即master机上，进入Spark安装目录,执行以下命令：

sbin/start-all.sh

2、启动Spark历史服务

 sbin/start-all.sh

3、访问历史服务页面

http://master:4000/

看到如下画面，则配置成功