高可用Flink on YARN集群快速配置_flink on yarn集群 的flink-conf(1)

# JobManager堆内存
jobmanager.heap.mb: 1024
# TaskManager堆内存
taskmanager.heap.mb: 2048
# 每个TaskManager上task slot数目
taskmanager.numberOfTaskSlots: 4
# 默认并行度
parallelism.default: 12

以上四项只是给出默认配置，实际执行作业时都可以用对应的命令行参数（-jm、-tm、-s、-p）修改。

• 高可用配置

# 开启基于ZK的高可用
high-availability: zookeeper
# ZK集群（即所谓Quorum）地址
high-availability.zookeeper.quorum: ha1:2181,ha2:2181,ha3:2181
# Flink在ZK存储中的根节点
high-availability.zookeeper.path.root: /flink
# JobManager元数据的持久化位置，必须是可靠存储
high-availability.storageDir: hdfs://mycluster/flink/ha/
# 程序启动时的最大尝试次数
# 应当与YARN ApplicationMaster的最大尝试次数（yarn.resourcemanager.am.max-attempts）相同
yarn.application-attempts: 4

注意YARN ApplicationMaster的最大尝试次数（yarn.resourcemanager.am.max-attempts）默认值仅为2，使得作业容错率很低，因此预先把它修改为4，或者更大些。

• StateBackend默认配置

# StateBackend类型
# 可选jobmanager（J