什么是Kafka消费组协调器

什么是协调器

协调器是用于协调多个消费者之间能够正确地工作的一个角色, 比如计算消费的分区分配策略，又或者消费者的加入组与离开组的处理逻辑, 有一点类似Kafka种的控制器的角色。

协调器的作用

协调器分为 消费组协调器 和 消费者协调器两种

消费组协调器

组协调器(GroupCoordinator)可以理解为各个消费者协调器的一个中央处理器, 每个消费者的所有交互都是和组协调器(GroupCoordinator)进行的。

1. 选举Leader消费者客户端
2. 处理申请加入组的客户端
3. 再平衡后同步新的分配方案
4. 维护与客户端的心跳检测
5. 管理消费者已消费偏移量,并存储至__consumer_offset中

消费者协调器

每个客户端都会有一个消费者协调器, 他的主要作用就是向组协调器发起请求做交互, 以及处理回调逻辑

1. 向组协调器发起入组请求
2. 向组协调器发起同步组请求(如果是Leader客户端,则还会计算分配策略数据放到入参传入)
3. 发起离组请求
4. 保持跟组协调器的心跳线程
5. 向组协调器发送提交已消费偏移量的请求

协调器运行流程

组协调器选择逻辑

消费组协调器的选择

kafka上的组协调器(GroupCoordinator)协调器有很多, 跟Controller不一样的是, Controller