standalone和mesos集群部署情况:
使用zk连接多个mast er并存储state(只对standalone和mesos有用),master主要负责调度。
[配置]
[spark/conf/spark-env.sh]
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=s201:2181,s202:2181,s203:2181 -Dspark.deploy.zookeeper.dir=/spark"
park.deploy.recoveryMode=ZOOKEEPER #设置zookeeper去启动备用master(默认none)
spark.deploy.zookeeper.url=s201:2181,s202:2181,s203:2181 #zookeeper集群
spark.deploy.zookeeper.dir=/spark/ha #zookeeper保存恢复状态的目录(默认、spark)
分发配置文件spark-env.sh到其他spark(worker)服务器
[启动方式]
直接在多个节点上启动master进程。自动从zk中添加或删除.
可通过指定多个master连接地址实现。
spark://host1:port1,host2:port2.