Kafka 实战 - kafka消费者分区分配策略

用心去追梦

于 2024-04-12 14:16:05 发布

阅读量447

点赞数 4

文章标签： kafka 分布式

本文链接：https://blog.csdn.net/qq_33240556/article/details/137679262

版权

Apache Kafka 中的消费者分区分配策略决定了如何将主题的分区分配给消费者组内的消费者实例。以下是一些常用的消费者分区分配策略：

Range（范围）分配策略（RangeAssignor）：
- 默认分配策略，对于每个主题，Kafka 将所有分区按照其序号排序，并将分区范围均等地分配给消费者。这意味着分区编号较小的分区会被优先分配给消费者，若消费者数不能整除分区数，则前面的消费者会多分配一个或多个分区。
Round Robin（轮询）分配策略（RoundRobinAssignor）：
- 此策略将不分主题地为每个消费者轮流分配分区，确保所有消费者在总体上获得大致相等数量的分区。不过，在单个主题内部，分区分配并不保证有序。
Sticky（粘性）分配策略（StickyAssignor）：
- 在重新平衡时尽可能保持先前的分区分配，同时试图使分区分布尽量均衡。如果消费者实例增加或减少， StickyAssignor 会尽量减少现有实例已经拥有的分区重新分配的数量，以减少不必要的重新处理。

实战中，开发者可以根据应用场景选择合适的分配策略：

对于需要消息顺序一致性的应用，可能更适合采用 Range 分配策略，因为这样能保证具有相同 key 的消息在同一个分区中，因此同一个消费者会一直处理这部分消息。
对于希望消费者负载均衡且不需要关心消息顺序的应用，则可以考虑使用 Round Robin 分配策略。
当希望在发生消费者实例变化时保持稳定性，减少因重平衡带来的系统抖动，Sticky 分配策略是一个很好的选择。

在 Kafka 客户端配置中，可以通过 partition.assignment.strategy 参数指定分区分配策略，可以设置一个或多个策略类，如果有多项，Kafka 会按照指定顺序尝试使用这些策略进行分配。例如：

partition.assignment.strategy=org.apache.kafka.clients.consumer.RangeAssignor, org.apache.kafka.clients.consumer.RoundRobinAssignor

这里的配置意味着首先尝试使用 RangeAssignor 分配分区，如果 RangeAssignor 无法满足某种分配条件，则退一步使用 RoundRobinAssignor。

关注