kafka多个消费者消费一个topic_Kafka消费者分区分配策略及自定义分配策略

本文详细介绍了Kafka中两种分区分配策略:range策略和roundRobin策略。range策略将分区按顺序平铺,前M个消费者得到N+1个分区,其余消费者分配N个分区。roundRobin策略则是轮询分配分区给消费者。读者还可以通过继承AbstractPartitionAssignor自定义分区分配策略。
摘要由CSDN通过智能技术生成

点击上方蓝色字体,选择“设为星标

回复”资源“获取更多资源

c179c0866721664e5eeebd05822c049c.png

0c04980e7110f5a1dc6b8fceea7d3599.png

大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 97571abc995452fff16dd655a12b0b98.png

a9559d3af296c4c6b8963f97de316e01.png

暴走大数据 点击右侧关注,暴走大数据! f12a7ab9c7c10ca6c267750429c019d3.png

kafka消费者如何分配分区以及分配分区策略和源码解释

我们知道kafka的主题中数据数据是按照分区的概念来的,一个主题可能分配了多个分区,每个分区配置了复制系数,为了可用性,在多个broker中进行复制,一个分区在多个broker中选举出一个副本首领,消费者只访问这个分区副本首领,这些在本章节不重要,本章节阐述一个消费者如何选定一个主题中多个分区中的一个分区,和kafka的分区分配策略核心源码解析。

kafka中分区策略核心实现有两种 一种是range范围策略,一种是roudRobin轮询策略,在构建KafkaConsumer类的时候配置,看一下策略的关系就能自行配置, 配置key为partition.assignment.strategy的具体实现,看下图:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值