深入分析Kafka架构（三）：消费者消费方式、三种分区分配策略、offset维护

最新推荐文章于 2025-03-20 09:59:19 发布

且听_风吟

最新推荐文章于 2025-03-20 09:59:19 发布

阅读量8.7k

点赞数 88

分类专栏： kafka 文章标签：大数据 kafka 分区分配策略 sticky roundrobin

本文链接：https://blog.csdn.net/qq_26803795/article/details/105562691

版权

本文深入分析了Kafka消费者的工作方式，重点讨论了Range、RoundRobin和Sticky三种分区分配策略及其优缺点，以及offset的维护机制。Kafka消费者采用pull模式，分区分配策略确保了数据的合理消费，Sticky策略在分配时兼顾了均衡与效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文目录

一、前言

在之前的两篇文章里，我们分析了kafka的工作流程、存储机制、分区策略、数据可靠性、故障处理。从而弄清楚了kafka的整体架构以及生产者生产的数据是怎么存储，保证可靠性以及遇到故障时进行处理的。

深入分析Kafka架构（一）：工作流程、存储机制、分区策略

深入分析Kafka架构（二）：数据可靠性、故障处理

那么接下来，我们将分析kafka架构里的消费者是如何工作的，本文将重点分析kafka消费者的消费方式，三种分区分配策略（Range分配策略、RoundRobin分配策略、Sticky分配策略） 以及offset的维护。

二、消费者消费方式

先说结论：消费者采用pull（拉）模式从broker中读取数据。

为什么不采用push（推，填鸭式教学）的模式给消费者数据呢？首先回想下咱们上学学习不就是各种填鸭式教学吗？不管你三七二十一，就是按照教学进度给你灌输知识，能不能接受是你的事，并美其名曰：优胜略汰！

这种push方式在kafka架构里显然是不合理的，比如一个broker有多个消费者，它们的消费速率不同，一昧的push只会给消费者带来拒绝服务以及网络拥塞等风险。而kafka显然不可能去放弃速率低的消费者，因此kafka采用了pull的模式，可以根据消费者的消费能力以适当的速率消费broker里的消息。

当然让消费者去pull数据自然也是有缺点的。同样联想上学的场景，如果把学习主动权全部交给学生，那有些学生想学的东西老师那里没有怎么办？那他不就陷入了一辈子就在那不断求索，然而别的也啥都学的这个死循环的状态了。kafka也是这样，采用pull模式后，如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。为了解决这个问题，Kafka消费者在消费数据时会传入一个时长参数timeout，如果当前没有数据可供消费，消费者会等待一段时间之后再返回，这段时长即为timeout。

三、分区分配策略

我们在第一篇文章里分析了kafka存储数据的分区策略，这里对于消费者来说，一个consumer group中有多个consumer，一个 topic有多个partition，所以肯定会涉及到partition的分配问题，即确定每个partition由哪个consumer来消费，这就是分区分配策略（Partition Assignment Strategy）。