(第八弹)Flink——Flink之Standalone模式HA搭建

本文档介绍了如何在Flink独立集群中搭建JobManager的高可用性(HA)配置,包括设置Masters文件、配置flink-conf.yaml文件,并详细说明了启动集群的步骤。确保在JobManager故障时,备用实例能够无缝接管,保持集群运行的连续性。
摘要由CSDN通过智能技术生成

     针对独立集群的JobManager高可用性的一般思想是,在任何时候都有一个领导的JobManager,并且在领导者失败时有多个备用JobManager来接管领导权。这保证了没有单一的故障点,程序可以在备用JobManager接管后立即继续执行。备用实例和主JobManager实例之间没有明显的区别。每个JobManager都可以充当master或standby角色。

 

一、Masters文件

           为了启动HA-cluster,在conf/master文件中配置master:

server1:8081
server2:8081

 

二、配置文件(flink-conf.yaml)

high-availability: zookeeper
high-availability.storageDir: hdfs://192.168.2.101:8020/flink/ha
high-availability.zookeeper.quorum: 192.168.2.102:2181,192.168.2.103:2181,192.168.2.104:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one

  备注:high-availability.cluster-id 是为了区分一个zookeeper下有多个flink集群的场景

 

三、启动集群

$ bin/start-cluster.sh
Starting HA cluster with 2 master
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值