Spark master HA 高可用模式

standalone和mesos集群部署情况:
     使用zk连接多个mast er并存储state(只对standalone和mesos有用),master主要负责调度。

[配置]  

[spark/conf/spark-env.sh]
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=s201:2181,s202:2181,s203:2181 -Dspark.deploy.zookeeper.dir=/spark"
    
park.deploy.recoveryMode=ZOOKEEPER                       #设置zookeeper去启动备用master(默认none)
spark.deploy.zookeeper.url=s201:2181,s202:2181,s203:2181  #zookeeper集群
spark.deploy.zookeeper.dir=/spark/ha                      #zookeeper保存恢复状态的目录(默认、spark)

    分发配置文件spark-env.sh到其他spark(worker)服务器    

 [启动方式]
    直接在多个节点上启动master进程。自动从zk中添加或删除.
    可通过指定多个master连接地址实现。
    spark://host1:port1,host2:port2.
 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值