前言
本文使用flink1.14.5版本,介绍standalone-HA模式的安装。
此模式时高可用架构,采用zookeeper协调多个JobManager,保持每时每刻有一个运行中的JobManager,其余JobManager处理stand by状态。
因为涉及到运行过程中的状态数据的存储,如savepoint,checkoutpoint等。采用minio替换掉hdfs来存储状态。
一、资源说明
1、flink集群机器
| 机器ip | hostname | JobManager运行节点 | TaskManager运行节点 | 备注 |
| 10.113.1.121 | flinknode1 | JobManager | ||
| 10.113.1.122 | flinknode2 | JobManager | ||
| 10.113.1.123 | flinknode3 | TaskManager | ||
| 10.113.1.124 | flinknode4 | TaskManager |
如果是standalone-ha模式最少使用两台机器,保证有两个JobManager。TaskManager可以与JobManager部署在一起,也可以单独部署
2、zookeeper集群(安装省略)
| hostname | 运行进程 |
| zknode1 | zookeeper |
| zknode2 | zookeeper |
| zknode3 | zookeeper |
3、minio(安装省略)
miniodocker单机版安装参看,

本文介绍如何使用Flink 1.14.5版本搭建standalone-HA高可用集群,涉及Zookeeper协调JobManager,Minio存储状态数据,并提供详细的配置步骤。
最低0.47元/天 解锁文章
1596

被折叠的 条评论
为什么被折叠?



