10. kafka消费者如何分配分区

消费者如何分配分区就是指某个topic，其N个分区和消费该topic的若干消费者群组下M个消费者的关系。如下图所示，C0和C1两个消费者如何分配N个分区：

• 核心接口：org.apache.kafka.clients.consumer.internals.PartitionAssignor
• 内置策略：org.apache.kafka.clients.consumer.RangeAssignor和org.apache.kafka.clients.consumer.RoundRobinAssignor。
• 默认策略：org.apache.kafka.clients.consumer.RangeAssignor
• 配置方式：在构造KafkaConsumer时增加参数partition.assignment.strategy，值为内置的两种策略中的一种，或者是一个实现了PartitionAssignor接口的全类名。例如：

... ...
// 指定分区分配策略
props.put("partition.assignment.strategy", "org.apache.kafka.clients.consumer.RangeAssignor");
KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(props);

range策略

• 实现

org.apache.kafka.clients.consumer.RangeAssignor

• 说明

range策略针对于每个topic，各个topic之间分配时没有任何关联，分配步骤如下：
1. topic下的所有有效分区平铺，例如P0, P1, P2, P3… …
2. 消费者按照字典排序，例如C0, C1, C2
3. 分区数除以消费者数，得到n
4. 分区数对消费者数取余，得到m
5. 消费者集合中，前m个消费者能够分配到n+1个分区，而剩余的消费者只能分配到n个分区。

所以对于某个topic来说：
如果有5个分区（P0, P1, P2, P3, P4），且订阅这个topic的消费者组有2个消费者（C0, C1）。那么P0, P1, P2将被C0消费，P3, P4将被C1消费。
如果有4个分区（P0, P1, P2, P3），且订阅这个topic的消费者组有2个消费者（C0, C1）。那么P0, P1将被C0消费，P3, P4将被C1消费。

range策略如下图所示：

• 源码注释

The range assignor works on a per-topic basis. For each topic, we lay out the available partitions in numeric order and the consumers in lexicographic order. We then divide the number of partitions by the total number of consumers to determine the number of partitions to assign to each consumer. If it does not evenly divide, then the first few consumers will have one extra partition.
For example, suppose there are two consumers C0 and C1, two topics t0 and t1, and each topic has 3 partitions, resulting in partitions t0p0, t0p1, t0p2, t1p0, t1p1, and t1p2.
The assignment will be:
C0: [t0p0, t0p1, t1p0, t1p1]
C1: [t0p2, t1p2]
说明：两个topic分区数无法整除消费者数，所以，第一个消费者C0会多分配一个分区。所以C0消费p0和p1两个分区，C1消费p2分区。

• 源码

核心源码如下：

// partitionsPerTopic表示topic和分区关系，key是topic，value是分区数量
// subscriptions表示订阅关系，key是消费者