Kafka之协调器

由于不清楚组协调器与消费者协调器的作用。这里记录下。

消费者协调器(ConsumerCoordinator)

ConsumerCoordinator 是 KafkaConsumer 的一个私有的成员变量，因此 ConsumerCoordinator 中存储的信息也只有与之对应的消费者可见，不同消费者之间是看不到彼此的 ConsumerCoordinator 中的信息的。 一个Consumer实例对应一个ConsumerCoordinator。

ConsumerCoordinator 的作用：

• 处理更新消费者缓存的 Metadata 请求
• 向组协调器发起加入消费者组的请求
• 对本消费者加入消费者前后的相应处理
• 请求离开消费者组(例如当消费者取消订阅时)
• 向组协调器发送提交偏移量的请求
• 通过一个定时的心跳检测任务来让组协调器感知自己的运行状态
• Leader消费者的 ConsumerCoordinator 还负责执行分区的分配，一个消费者组中消费者 leader 由组协调器选出，leader 消费者的 ConsumerCoordinator 负责消费者与分区的分配，然后把分配结果发送给组协调器，然后组协调器再把分配结果返回给其他消费者的消费者协调器，这样减轻了服务端的负担

总结：更新元数据，加入/退出消费组，提交偏移量给GroupCoordinator，分区分配。

组协调器(GroupCoordinator)

GroupCoordinator 的作用：

• 负责对其管理的组员(消费者)提交的相关请求进行处理
• 与消费者之间建立连接，并从与之连接的消费者之间选出一个 leader
• 当 leader 分配好消费者与分区的订阅关系后，会把结果发送给组协调器，组协调器再把结果返回给各个消费者
• 管理与之连接的消费者的消费偏移量的提交，将每个消费者的消费偏移量保存到kafka的内部主题中
• 通过心跳检测消费者与自己的连接状态
• 启动组协调器的时候创建一个定时任务，用于清理过期的消费组元数据以及过去的消费偏移量信息

总结：消费组leader选举，处理提交偏移量请求，清理过期信息。

摘取文章
Kafka 核心组件之协调器