flink启动job_Flink实践之一：Flink on Yarn(HA)

最新推荐文章于 2023-07-19 18:18:13 发布

忧伤的石一

最新推荐文章于 2023-07-19 18:18:13 发布

阅读量348

点赞数 1

文章标签： flink启动job

本文链接：https://blog.csdn.net/weixin_35807050/article/details/113451585

版权

本文介绍了如何配置Flink在Yarn上的高可用性（HA），包括设置Yarn重试次数、配置ZooKeeper、启动Flink Yarn Session以及进行HA测试。在HA测试中，当Kill掉JobManager进程时，Yarn能够自动重启并恢复Flink作业。

摘要由CSDN通过智能技术生成

1. 配置yarn最大重试次数yarn-site.xml：

yarn.resourcemanager.am.max-attempts4

2. 配置Yarn重试次数

[root@hadoop2 flink-1.5.0]# vi conf/flink-conf.yaml yarn.application-attempts: 10

此参数代表Flink Job(yarn中称为application)在Jobmanager(或者叫Application Master)恢复时，允许重启的最大次数。

注意，Flink On Yarn环境中，当Jobmanager(Application Master)失败时，yarn会尝试重启JobManager(AM)，重启后，会重新启动Flink的Job(application)。因此，yarn.application-attempts的设置不应该超过yarn.resourcemanager.am.max-attemps.

3. 配置ZooKeeper:

[root@hadoop2 flink-1.5.0]# vi conf/flink-conf.yaml high-availability: zookeeper high-availability.storageDir: hdfs:///flink/ha/ high-availability.zookeeper.quorum: 10.108.4.203:2181,10.108.4.204:2181,10.108.4.205:2181 high-availability.zookeeper.path.root: /flink high-availability.cluster-id: /cluster_yarn

4. co