SparkHA高可用集群搭建

1 Spark HA高可用模式部署

如果设置master只有一个, 所以也可能单点故障问题。可以启动多个 master, 先启动的处于 Active 状态, 其他的都处于 Standby 状态。

步骤1: 给 spark-env.sh 添加如下配置

添加上如下内容：

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master-1:2181,master-2:2181,slave-1:2181 -Dspark.deploy.zookeeper.dir=/spark"

步骤2: 分发配置文件

需要安装spark集群的服务器上分发配置文件

步骤3: 启动 Zookeeper

步骤4: 在 master-1 启动全部节点

sbin/start-all.sh

会在当前节点启动一个 master

步骤5: 在 master-2 启动一个 master

sbin/start-master.sh

步骤6: 查看 master 的状态

步骤7: 杀死 master-1 的 master 进程

master-2 的 master 会自动切换成 Active

再次启动master-1，此时master-1会变成standby