1、简介
当Flink程序运行时,如果jobmanager崩溃,那么整个程序都会失败。为了防止jobmanager的单点故障,借助于zookeeper的协调机制,可以实现jobmanager的HA配置—-1主(leader)多从(standby)。
这里的HA配置只涉及standalone模式,yarn模式暂不考虑。
Flink版本: 1.1.2
Hadoop版本: 2.6.0
例如,有3个jobmanager,其HA情况如下:
2、standalone HA的配置
由于jobmanager的HA配置依赖于zookeeper,因此,需要先配置zookeeper,可以参考我之前的文章:
zookeeper集群配置。
而且,由于Flink的state backend要依赖hdfs,因此假设Hadoop集群也已经配置完成,可参考这里
下面开始配置jobmanager的HA:
(1)flink配置文件:conf/flink-conf.yaml
#jobmanager.rpc.address: flink
HA模式下,jobmanager不需要指定,在master file中配置,由zookeeper选出leader与standby。
#==============================================================================
# Streaming state checkpointing
#========================&#