我们设置的单点master,一旦崩了master就无法正常使用,我们配置的集群是三台的,一个master和三个worker.
首先我们先配置好三台机器的zookeeper然后启动,之后我们需要修改一下spark下的配置
#原本指定了SPARK_MASTER_HOST和SPARK_MASTER_PORT的注释掉
#换上
export JAVA_HOME=/bigdata/jdk
SPARK_MASTER_WEBUI_PORT=8989 #防止端口冲突
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=master,slave1,slave2
-Dspark.deploy.zookeeper.dir=/spark
"
我的配置呢我在sbin下的start-master.sh文件里修改了webui的端口,然后配置里设置了之后会覆盖
配置完之后分发
分发之后我们在主master下sbin/start-all.sh启动,现在启动的还是原来的一个master和三个worker
之后我们需要在另外两台机器上单独启动master,sbin/start-master.sh
启动完之后就会每个集群都有master和worker,但是其中的状态是不同的,我们需要到webui下查看
如下:
master机器
slave1机器
slave2机器
我们可以发现其余两个status状态都是standby
然后测试一下
我们到slave1第二台机器上执行
bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077,slave1:7077,slave2:7077 ./examples/jars/spark-examples_2.11-2.4.7.jar 10
运行看到结果就ok!
然后我们模拟一下master主机上的spark崩了
我们切换到master输入jps查看一下master的端口
输入 kill -9 37296
输入jps查看发现master不存在了
webui的master无法进入了,过一段时间zookeeper就会让其他机器的master更换状态
这里我们发现第三台机器模式更换了说明已经正常,可以继续提供服务
至此结束,谢谢!