Kafka Connect Rebalance协议解析:Eager Rebalance VS Imcremental Cooperative Rebalance


在Kafka Connect的配置中有 connect.protocol配置,可用于配置同一组Kafka Connect在Rebalance中的表现。

connect.protocol

Kafka Connect的Rebalance的基础也是依赖于Kafka Group Membership协议,但它自身有两种协议根据协议的不同,Rebalance的过程也有很大的不同。这篇文章对Kafka Connect的两种Rebalance协议:Eager Rebalance和Imcremental Cooperative Rebalance进行分析,让大家明白在各种场景下如何选择合适的connect.protocol

Eager Rebalance

Kafka Connect组在Rebalance的时候跟Kafka Consumer组一样,也是需要一个Kafka broker作为Coordinator来进行Rebalance的协调,如下图所示。
在这里插入图片描述
而Kafka Connect的Eager Rebalance在Rebalance过程中表现的行为跟Kafka Consumer组是一样的,只要触发Rebalance,所有的同一组Kafka Connect都重新开始:重新加入组,选择Leader,Leader重新计算Assignment,Coordinator向每个Kafka Connect发送Assignment结果,Kafka Connect根据新的Assignment运行分配的Connectors和Tasks。

下面用几个场景进行举例。假设一组Kafka Connect运行两个Connectors,ConnectotA和ConnectorB,简写为(AC0BC0)。AC0的任务数为2,简写为AT1AT2。BC0的任务数为1,简写为BT1。一组有3个Kafka Connect,以W1W2W3分别表示。

第一个新成员加入时

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值