如何保证消息队列有序

大多数场景下,消息队列是不要求有序的。只有部分后续 MQ 处理依赖前驱 MQ 数据的场景才需要有序,这里保证有序主要从两个方面展开:

  • 消息队列层面
  • 消费者处理逻辑层面

RabbitMQ

对于 Rabbit MQ 这种主从架构,如果多个消费者连接相同的 queue,其中这个 queue 上包含需要依次处理的 data1,data2,data3。不同消费者拉取不同的数据,由于处理的速度不同,后续处理完的顺序无法判断,此时就无法保证有序性

此时我们可以拆分多个 queue,相同类型的 MQ 集中在一个 queue 上,每个 queue 只对应一个 consumer,此时这个 consumer 就可以按顺序从 queue 中拉取数据

这里只能采用普通集群方式,不然所有 queue 的数据会相同,没啥意义

上面只能保证在消息队列层面有序,如果消费者拉取任务后交给多线程并发执行,由于我们无法预知每个线程执行的速度,仍无法判断消息处理顺序

在消费者层面,可以通过队列保存消息顺序,交给底层线程池依次执行来解决


Kafka

首先生产者在生产消息时可以增加关键字 key,通过该关键字保证相同类型的数据分配到同一个 partition 上,并且该 partition 对应的 broker 只连接一个 Consumer,这样在消息队列层面保证消息有序

消费者处理时可以定义多个队列,每个队列对应一种 key 的消息,这个队列只交由一个线程处理,通过这种方式就可以保证消息处理有序。

除了上面这些方式,还可以采用完全单线程方式:一个 topic,一个 partition,一个 consumer,消费内部单线程。但这种处理方式吞吐量较低,一般用不上。

总得来说消息队列有序用的比较少,绝大多数情况下消息之间不存在依赖关系,每个消息都是独立的单元,顺序影响不大。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值