目录
问题分析
在回答这个问题之前,先来了解一下Kafka的运行机制(如图)
当我们向某个Topic发送消息的时候,在Kafka的Broker上,会通过Partition分区的机制来实现消息的物理存储。
一个Topic可以有多个Partition,相当于把一个Topic里面的N个消息数据进行分片存储。
消费端去消费消息的时候,会从指定的Partition中去获取。
在同一个消费组中,一个消费者可以消费多个Partition中的数据。但是消费者的数量只能小于或者等于Partition分区数量。
而这里提出来的问题是,一个消费组中两个消费者去消费三个Partition,很自然的想到其中一个消费者需要消费两个Partition
但是哪个消费者消费两个partition呢?这就是这个问题的关键,下面看下这个问题的回答。
问题答案
这个问题涉及到Kafka里面的Consumer Group Coordinator,也就是消费组协调器。它会根据消费者订阅的Topic中的partition数量、和消费组中的消费者实例数量来决定每个消费者消费哪些 Partition。
这个算法会在消费组中选择一个消费者实例作为Leader,Leader负责分配Partition给消费者实例,并协调消费者实例之间的Partition分配和Reblance
当一个消费者实例加入或离开消费组的时候,协调器会触发Partition的重新分配,确保所有Partition都能被消费者实例均匀地消费。
Kafka还提供了三种Partition分配策略
1. "Round-robin(轮训)",它会将Partition均匀地分配给消费者实例
2. "Range(范围)",它会按照Partition的范围进行分配。
3. ”Sticky(粘滞分配),它会尽可能地将同一Partition分配给同一个消费者实例。