一线大厂面试真题-Kafka中一个Topic有三个Partition,同一个消费组中两个消费者如何消费的

目录

问题分析

问题答案

Kafka还提供了三种Partition分配策略


题分析

在回答这个问题之前,先来了解一下Kafka的运行机制(如图)

当我们向某个Topic发送消息的时候,在KafkaBroker上,会通过Partition分区的机制来实现消息的物理存储。

一个Topic可以有多个Partition,相当于把一个Topic里面的N个消息数据进行分片储。

消费端去消费消息的候,会从指定的Partition中去获取。

在同一个消费组中,一个消费者可以消费多个Partition中的数据。但是消费者的数量只能小于或者等于Partition分区数量。

而这里提来的问题是,一个消费组中两个消费者去消费三个Partition,很自然的想到其中一个消费者需要消费两个Partition

但是哪个消费者消费两个partition呢?这就是这个问题的关键,下面看下这个问题的回答。

题答案

这个问题涉及到Kafka里面的Consumer Group Coordinator,也就是消费组协调器。它会根据消费者订阅的Topic中的partition数量、和消费组中的消费者实例数量来决定每个消费者消费哪些 Partition。

这个算法会在消费组中选择一个消费者实例作为Leader,Leader负责分配Partition给消费者实例,并协调消费者实例之间的Partition分配和Reblance

当一个消费者实加入或离开消费组的时候,协调器会触发Partition的重新分配,确保所有Partition都能被消费者实例均匀地消费。

Kafka还提供了三种Partition分配策略

1.   "Round-robin(轮训)",它会将Partition均匀地分配给消费者实例

2.   "Range(范围)",它会按照Partition的范围进行分配。

3.   ”Sticky(粘滞分配),它会尽可能地将同一Partition分配给同一个消费者实例

  • 12
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值