第十一章 搭建Spark高可用（HA）

系列文章：
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署（2n+1台虚拟机）
第四章 Hadoop高可用集群搭建（HA）
第五章 Hive的安装与配置
待更新
第九章 spark独立模式部署（Standalone）
第十章 spark配置历史服务
第十一章 搭建Spark高可用（HA）
第十二章 spark配置Yarn模式（混合部署模式）
待更新

---

---

Spark高可用

前提：配置过Zookeeper（可参考 第三章 Zookeeper分布式集群部署（2n+1台虚拟机））
进入spark目录（这里是/export/servers/spark-3.1.2）

1.停止集群。

sbin/stop-all.sh

2.三台虚拟机均开启Zookeeper。

进入Zookeeper的bin目录（这里是/export/servers/zookeeper-3.4.10/bin）

./zkServer.sh start

3.修改spark-env.sh文件，添加如下配置：

#注释以下内容
#SPARK_MASTER_HOST=node1
#SPARK_MASTER_port=7077

#Master监控页面默认访问端口为8080，但是也能与Zookeeper冲突，所以改为8989，也可以自定义
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=node1,node2,node3
-Dspark.deploy.zookeeper.dir=/spark-3.1.2"

4.分发配置文件。

scp -r conf node2:/export/servers/spark-3.1.2/
scp -r conf node3:/export/servers/spark-3.1.2/

5.启动集群。

sbin/start-all.sh

6.启动node2的Master节点，此时node2的Master是备用状态。

。。。先进入虚拟机node2的spark目录。。。

sbin/start-master.sh