Flink on Yarn（HA配置）

最新推荐文章于 2024-07-24 11:58:44 发布

lmalds李麦迪

最新推荐文章于 2024-07-24 11:58:44 发布

阅读量9.2k

点赞数 5

分类专栏： Flink 文章标签： Flink yarn HA

本文链接：https://blog.csdn.net/lmalds/article/details/53786344

版权

本文详细介绍了Flink在Yarn上进行高可用(HA)配置的步骤，包括配置AM重启最大次数、设置Flink Application重试次数、配置Zookeeper信息等。并展示了启动Flink Yarn Session、提交Job以及进行HA测试的过程，讨论了Flink 1.2在Yarn上的改进。

摘要由CSDN通过智能技术生成

根据部署方式不同，Flink Jobmanager HA配置分为2种：

1、standalone cluster HA
2、Yarn cluster HA

其中，standalone cluster HA可参考我之前的一篇文章。

简单回顾下，standalone模式的HA需要多个“活着的”Jobmanager，其中1个作为leader，其他作为standby，leader选举依赖于Zookeeper。可以用下面的一张图来形象的表述standalone HA：
这里写图片描述

本文专门讨论Yarn下Flink HA的搭建与配置。

一、Flink On Yarn 简介

Flink部署在Yarn上，仅作为yarn上“多租户”的一个service而存在。Flink在yarn中容器的概念分为2种：

用于启动JobManager（AM）的容器
用于启动TaskManager的容器

我们可以通过yarn-session.sh –help来看下启动Flink On Yarn的参数信息：
这里写图片描述

其中-n代表taskmanager的容器数量，而不是taskmanager+jobmanager的容器数量。

在配置HA前，先通过-q看一下我的yarn集群的资源情况：

这里写图片描述

从图中可以看出，我配置的每个NodeManager的内存是8192MB（yarn-site.xml），每个NodeManager的vcores数量是8。所以，当前yarn集群中可用内存总量为32768，总cores是32.

二、Flink on Yarn HA 配置

1、配置准备
在配置Flink On Yarn之前，必须保证hdfs和yarn都已经开启，可以通过$HADOOP_HOME/sbin/start-all.sh启动hdfs和yarn。

2、配置AM在尝试重启的最大次数（yarn-site.xml）

此配置需要在$HADOOP_CONF_DIR 的yarn-site.xml添加。
添加如下配置：
这里写图片描述

此配置代表application master在重启时，尝试的最大次数。

3、配置Application Attempts（flink-conf.yaml）

此参数需要在$FLINK_HOME/conf 的flink-conf.yaml中配置。
添加如下配置：
这里写图片描述

此参数代表Flink Job（yarn中称为application）在Jobmanager（或者叫Application Master）恢复时，允许重启的最大次数。

注意，Flink On Yarn环境中，当Jobmanager（Application Master）失败时，yarn会尝试重启JobManager（AM），重启后，会重新启动Flink的Job（application）。因此，yarn.application-attempts的设置不应该超过yarn.resourcemanager.am.max-attemps.

4、配置zookeeper信息
虽然flink-on-yarn cluster HA依赖于Yarn自己的集群机制，但是Flink Job在恢复时，需要依赖检查点产生的快照，而这些快照虽然配置在hdfs，但是其元数据信息保存在zookeeper中，所以我们