（知识短文）kafka中partition和消费者对应关系

kafka 为了保证同一类型的消息顺序性（FIFO），一个partition只能被同一组的一个consumer消费，不同组的consumer可以消费同一个partition。但是一个consumer可以消费多个partition

 

消费者多于partition

 

Topic： T1只有1个partition

Group: G1组中启动2个consumer

 

消费者数量为2大于partition数量1，此时partition和消费者进程对应关系如下：

 

 

 

只有C1能接收到消息，C2则不能接收到消息，即同一个partition内的消息只能被同一个组中的一个consumer消费。当消费者数量多于partition的数量时，多余的消费者空闲。

 

也就是说如果只有一个partition你在同一组启动多少个consumer都没用，partition的数量决定了此topic在同一组中被可被均衡的程度，例如partition=4，则可在同一组中被最多4个consumer均衡消费。

 

消费者少于partition

 

Topic：T2包含3个partition

Group: G2组中启动2个consumer

 

消费者数量为2小于partition数量3，此时partition和消费者进程对应关系如下：

 

此时P1、P2对应C1，即多个partition对应一个消费者，C1接收到消息量是C2的两倍

 

消费者等于partition

 

Topic：T3包含3个partition

Group: G3组中启动3个consumer

 

消费者数量为3等于partition数量3，此时partition和消费者进程对应关系如下：

 

C1，C2，C3均分了T3的所有消息，即消息在同一个组之间的消费者之间均分了。

 

多个消费者组

 

Topic：T3包含3个partition

Group: G3组中启动3个consumer，G4组中启动1个consumer

 

此时partition和消费者进程对应关系如下：

 

 

消息被G3组的消费者均分，G4组的消费者在接收到了所有的消息。启动多个组，则会使同一个消息被消费多次。

 

如果想要了解更多kafka内容，请参考：

 

Kafka 架构-图文讲解

Kafka 高性能吞吐揭秘

Kafka最新面试题

 

长按订阅更多精彩▼

如有收获，点个在看，诚挚感谢