从kafka的Coordinator看组件设计

以下描述默指kafka 0.10对应版本,Coordinator 默指 GroupCoordinator一、Coordinator是什么协调器二、干什么用故障探测和再平衡(Rebalance)在一个消费者组当中,每个消费者线程负责消费所订阅topic下的哪些分区,维护一个平衡消费的关系,使得组中的每个消费者负载均衡。故障探测指什么?每个consumer都和Coordinator建立连接...
摘要由CSDN通过智能技术生成

以下描述默指kafka 0.10对应版本,Coordinator 默指 GroupCoordinator
一、Coordinator是什么
协调器

二、干什么用
故障探测和再平衡(Rebalance)

在一个消费者组当中,每个消费者线程负责消费所订阅topic下的哪些分区,维护一个平衡消费的关系,使得组中的每个消费者负载均衡。

故障探测指什么?每个consumer都和Coordinator建立连接,因为consumer需要向Coordinator提交消费偏移量信息。consumer通过心跳向Coordinator报告健康状况,当检测到组中某个consumer挂掉后,需要将该consumer负责消费的topic对应的分区分给其他消费线程。

三、谁是Coordinator
每个Kafka Server都有一个Coordinator实例,也就是说每个broker都有一个Coordinator。每个Coordinator都维护着各自对应的消费者组的平衡关系。这样设计的话,协调者的数量就可以随着集群规模增加而线性增加,不会成为一个瓶颈。

四、触发Rebalance的时机
1、所订阅topic的分区数发生变化,典型的是分区数增加
2、消费者组中的消费者线程数量发生变化,退出或者加入等
3、消费者调用undiscribe某个topic

五、消费者组所属的Coordinator如何确定
1、计算方式
第一步:计算消费者组对应的 kafka 内部在 __consumers_

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值