24-kafka如何保证多分区之间的数据是有序的

题目:kafka如何保证多分区之间的数据是有序的


答案:

一、全局有序
由于kafka的一个topic可以分为多个partition,producer发送消息的时候,是分散在不同的partition的。当producer按顺序发消息给broker,但进入kafka之后,这些消息就不一定进到哪个partition,会导致顺序是乱的。
因此要满足全局有序,需要1个topic只能对应1个partition
在这里插入图片描述
而且对应的consumer也要使用单线程或者保证消费顺序的线程模型,否则会出现下图所示,消费端造成的消费乱序
在这里插入图片描述
二、局部有序
要满足局部有序,只需要在发消息的时候指定partition key,kafka对其进行hash计算,根据计算结果决定放入哪个partition。这样partition key相同的消息会放在同一个partition。此时,partition数量仍然可以设置多个,提升topic的整体吞吐量。
如下图所示,在不增加partition数量的情况下想提高消费速度,可以考虑再次hash唯一标识(例如订单id)到不同的线程上,多个消费者小城并发处理消息(依旧可以保证局部有序)
在这里插入图片描述


  • 2
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值