本文详细介绍了Kafka的三种分区分配策略：RangeAssignor、RoundRobinAssignor和StickyAssignor，包括它们的工作原理和优缺点。StickyAssignor策略旨在实现更均匀的分配并减少再平衡时的资源损耗。同时，文章还讨论了分配策略的实施过程，包括选举消费组leader和分区分配策略的决定方式。
引言
按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。假设目前某消费组内只有一个消费者C0，订阅了一个topic，这个topic包含7个分区，也就是这个消费者C0订阅了7个分区。
此时随着消费组内的消费者的加入，分区就会被分配到各个消费者，相互之间不干扰。如上图。
如果消费者过多，出现了消费者的数量大于分区的数量的情况，就会有消费者分配不到任何分区。参考下图，一共有8个消费者，7个分区，那么最后的消费者C7由于分配不到任何分区进而就无法消费任何消息。
Kafka提供了消费者客户端参数partition.assignment.strategy用来设置消费者与订阅主题之间的分区分配策略。
Kafka默认情况下采用RangeAssignor分配策略，还提供了另外两种分配策略：RoundRobinAssignor和StickyAssignor。
1. RangeAssignor分配策略
RangeAssignor策略的原理是按照消费者总数和分区总数进行整除运算来获得一个跨度，然后将分区按照跨度进行平均分配，以保证分区尽可能均匀地分配给所有的消费者。对于每一个topic，RangeAssignor
最低0.47元/天 解锁文章
1984
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
