Spark+zookeeper

基于zookeeper 的Spark HA配置说明

首先按照zookeeper，见上一篇

配置spark.env.sh

将SPARK_MASTER_IP 一行删除

增加

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=h101:2181,h102:2181,h103:2181 -Dspark.deploy.zookeeper.dir=/spark"

##使用h102，h103做为备份，当h101挂掉，h102自动热备份。

将配置文件发送给各个节点

cd spark/sbin

./start-all.sh

启动spark

在h102，h103下

cd spark/sbin

./start-master.sh

此时通过h102和h103 8080端口发现：

status：standby

此时在master节点下执行sbin/stop-master.sh，手动停掉h101的master

过了大概2分钟，通过h102:8080访问

status: alive