加个“星标”,一起快乐成长
这是 Java 极客技术的第 282 篇原创文章
Kafka 重平衡流程一直是 kafka 比较麻烦和难以理解的地方,此篇文章通过大量的示意图带你了解一下 kafka 重平衡的过程
Kafka 重平衡流程
我在 真的,关于 Kafka 入门看这一篇就够了 中关于消费者描述的时候大致说了一下消费者组和重平衡之间的关系,实际上,归纳为一点就是让组内所有的消费者实例就消费哪些主题分区达成一致。
我们知道,一个消费者组中是要有一个群组协调者(Coordinator)
的,而重平衡的流程就是由 Coordinator 的帮助下来完成的。
这里需要先声明一下重平衡发生的条件
消费者订阅的任何主题发生变化
消费者数量发生变化
分区数量发生变化
如果你订阅了一个还尚未创建的主题,那么重平衡在该主题创建时发生。如果你订阅的主题发生删除那么也会发生重平衡
消费者被群组协调器认为是
DEAD
状态,这可能是由于消费者崩溃或者长时间处于运行状态下发生的,这意味着在配置合理时间的范围内,消费