kafka生产者分区写入策略

生产者写入消息到topic,kafka将依据不同的策略将数据分配到不同的分区中
1.轮询分区策略
2.随机分区策略
3.按key分区分配策略
4.自定义分区策略

1.1 轮询分区策略

默认的策略,也是使用最多的策略,可以最大限度的保证所有消息平均分配到分区里面
如果在生产消息时,key为null,则使用轮询算法均衡地分配分区

1.2 随机分区策略

基本废弃,可能会造成数据倾斜

1.3 按key分区分配策略

按key分配策略,key.hash()%分区的数量,然后shuffle到对应的分区,有可能会出现数据倾斜,例如:某个key包含了大量的数据,因为key值一样,所有的数据都将分配到一个分区中,造成该分区的消息数量远大于其他的分区

乱序问题

使用轮询策略和随机策略,单个分区是有序,但是整个topic的分区数据消费者组中的消费者读起来,就是乱序的了。按key分区策略,只能保证局部有序。
kafka中的消息是全局乱序的,局部partition是有序的,如果我们要实现消息总是有序的,可以将连续的消息放到一个partition。但kafka就失去了分布式的意义。

1.4 自定义分区策略

自己通过自定义方法去实现。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值