flink的Standalone-HA模式安装

本文介绍如何使用Flink 1.14.5版本搭建standalone-HA高可用集群,涉及Zookeeper协调JobManager,Minio存储状态数据,并提供详细的配置步骤。

前言

本文使用flink1.14.5版本,介绍standalone-HA模式的安装。

此模式时高可用架构,采用zookeeper协调多个JobManager,保持每时每刻有一个运行中的JobManager,其余JobManager处理stand by状态。

因为涉及到运行过程中的状态数据的存储,如savepoint,checkoutpoint等。采用minio替换掉hdfs来存储状态。

一、资源说明

1、flink集群机器

机器ip hostname JobManager运行节点 TaskManager运行节点 备注
10.113.1.121 flinknode1 JobManager
10.113.1.122 flinknode2 JobManager
10.113.1.123 flinknode3 TaskManager
10.113.1.124 flinknode4 TaskManager

如果是standalone-ha模式最少使用两台机器,保证有两个JobManager。TaskManager可以与JobManager部署在一起,也可以单独部署

2、zookeeper集群(安装省略)

hostname 运行进程
zknode1 zookeeper
zknode2 zookeeper
zknode3 zookeeper

3、minio(安装省略)

miniodocker单机版安装参看,

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值