由于不清楚组协调器与消费者协调器的作用。这里记录下。
消费者协调器(ConsumerCoordinator)
ConsumerCoordinator 是 KafkaConsumer 的一个私有的成员变量,因此 ConsumerCoordinator 中存储的信息也只有与之对应的消费者可见,不同消费者之间是看不到彼此的 ConsumerCoordinator 中的信息的。 一个Consumer实例对应一个ConsumerCoordinator。
ConsumerCoordinator 的作用:
- 处理更新消费者缓存的 Metadata 请求
- 向组协调器发起加入消费者组的请求
- 对本消费者加入消费者前后的相应处理
- 请求离开消费者组(例如当消费者取消订阅时)
- 向组协调器发送提交偏移量的请求
- 通过一个定时的心跳检测任务来让组协调器感知自己的运行状态
- Leader消费者的 ConsumerCoordinator 还负责执行分区的分配,一个消费者组中消费者 leader 由组协调器选出,leader 消费者的 ConsumerCoordinator 负责消费者与分区的分配,然后把分配结果发送给组协调器,然后组协调器再把分配结果返回给其他消费者的消费者协调器,这样减轻了服务端的负担
总结:更新元数据,加入/退出消费组,提交偏移量给GroupCoordinator,分区分配。
组协调器(GroupCoordinator)
GroupCoordinator 的作用:
- 负责对其管理的组员(消费者)提交的相关请求进行处理
- 与消费者之间建立连接,并从与之连接的消费者之间选出一个 leader
- 当 leader 分配好消费者与分区的订阅关系后,会把结果发送给组协调器,组协调器再把结果返回给各个消费者
- 管理与之连接的消费者的消费偏移量的提交,将每个消费者的消费偏移量保存到kafka的内部主题中
- 通过心跳检测消费者与自己的连接状态
- 启动组协调器的时候创建一个定时任务,用于清理过期的消费组元数据以及过去的消费偏移量信息
总结:消费组leader选举,处理提交偏移量请求,清理过期信息。
摘取文章
Kafka 核心组件之协调器