Spark配置高可用

配这个就是当你主节点master爆了的时候，从节点的master会进行代替，这就叫高可用

1.配置spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/SparkMasterHA"

2.测试
启动zookeeper，在node1启动spark-all.sh，在node2启动spark-master.sh


关闭node1中的master后，node2中的master会由standby转为recovering再转为alive
同时在zookeeper集群中会有这个节点：

总结：切换master不影响已经在执行的task，但影响向master申请资源

为什么带有.sh，的话变成了超链接？