Kafka之消费者分区分配策略

本文介绍了Kafka中消费者的分区分配策略,包括RoundRobinAssignor和RangeAssignor两种算法。RoundRobinAssignor通过轮询方式均匀分配分区,而RangeAssignor在单个Topic下可能造成消费者分区分配不均,现在多采用RoundRobinAssignor以更公平地利用资源。
摘要由CSDN通过智能技术生成

前言

之前的一篇博客写的是Kafka基础了解一下(附上超链接,可以点进去看看)对Kafka简单介绍了一下。既然我们知道消费者组会协调去消费Topic下的partition,那么它是如何去协调的,是不是也要去了解了解。

简介

Kafka的分区实际上继承了一个接口AbstractPartitionAssignor,而这个接口下有两个实现的类,实现了RoundRobinAssignor和RangeAssignor两种算法。

RoundRobinAssignor

RoundRobin是轮询算法,它会将所有的TopicPartition统一进行分配。如下面的图一样,第一个partition给到consumer1,第二个Partition给到consumer2,以此类推,循环着依次分配。

RangeAssignor

它与前面那个算法不同的是,它是针对每一个Topic单独进行分配。就像下图一样,它会针对每一个Topic下的Partition数量与Consumer来进行划分。
这里我们将Topic下的Partition数量记为p,消费者组里的消费者数量记为c。
(1)p/c求出每个消费者最少可以得到多少个分区,例如这里的Topic01为3, 3/2=

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值