针对独立集群的JobManager高可用性的一般思想是,在任何时候都有一个领导的JobManager,并且在领导者失败时有多个备用JobManager来接管领导权。这保证了没有单一的故障点,程序可以在备用JobManager接管后立即继续执行。备用实例和主JobManager实例之间没有明显的区别。每个JobManager都可以充当master或standby角色。
一、Masters文件
为了启动HA-cluster,在conf/master文件中配置master:
server1:8081
server2:8081
二、配置文件(flink-conf.yaml)
high-availability: zookeeper
high-availability.storageDir: hdfs://192.168.2.101:8020/flink/ha
high-availability.zookeeper.quorum: 192.168.2.102:2181,192.168.2.103:2181,192.168.2.104:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one
备注:high-availability.cluster-id 是为了区分一个zookeeper下有多个flink集群的场景
三、启动集群
$ bin/start-cluster.sh
Starting HA cluster with 2 master

本文档介绍了如何在Flink独立集群中搭建JobManager的高可用性(HA)配置,包括设置Masters文件、配置flink-conf.yaml文件,并详细说明了启动集群的步骤。确保在JobManager故障时,备用实例能够无缝接管,保持集群运行的连续性。
最低0.47元/天 解锁文章
1437

被折叠的 条评论
为什么被折叠?



