Spark的HA配置-02

https://blog.csdn.net/kxj19980524/article/details/90743861

在01的基础上操作

spark的HA是基础zookeeper的,所以在这之前先搭建好zookeeper集群

编辑conf目录下的spark-env.sh文件,添加zookeeper配置信息,然后把SPARK_MASTER_HOST注释掉.

export SPARK_DAEMON_JAVA_OPTS="
 -Dspark.deploy.recoveryMode=ZOOKEEPER
 -Dspark.deploy.zookeeper.url=hadoop-senior01.buba.com:2181,hadoop-senior02.buba.com:2181,hadoop-senior03.bub
a.com:2181
 -Dspark.deploy.zookeeper.dir=/spark"

把三台节点的都按照上面进行配置,配置完后,先启动zookeeper集群

然后在1节点上启动start-all.sh

但是2节点和3节点还是worker

在2节点上执行下面命令启动master,现在就有俩master了,其实第三台机器也可以启动master

20节点就是活着的,21节点就是备用的

现在把20节点master杀掉

等一会儿21节点就变为master了