RocketMQ 如何保证消息的顺序性

最新推荐文章于 2024-08-31 22:49:23 发布

JinYD2018

最新推荐文章于 2024-08-31 22:49:23 发布

阅读量1.1k

点赞数 21

分类专栏： # RocketMQ 文章标签： rocketmq 消息顺序

本文链接：https://blog.csdn.net/weixin_43281498/article/details/141340201

版权

RocketMQ 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

和 Kafka 只支持同一个 Partition 内消息的顺序性一样，RocketMQ 中也提供了基于队列(分区)的顺序消费。即同一个队列内的消息可以做到有序，但是不同队列内的消息是无序的

需要从 Product 发送消息顺序，broker 中的 Queue 的接收顺序，Consumer 消费的顺序三个方面来保证。

如何保证 Product 发送消息顺序？

Apache RocketMQ 通过生产者和服务端的协议保障单个生产者串行地发送消息，并按序存储和持久化。
如需保证消息生产的顺序性，则必须满足以下条件：

单一生产者：消息生产的顺序性仅支持单一生产者，不同生产者分布在不同的系统，即使设置相同的消息组，不同生产者之间产生的消息也无法判定其先后顺序。
串行发送（同步发送）：Apache RocketMQ 生产者客户端支持多线程安全访问，但如果生产者使用多线程并行发送，则不同线程间产生的消息将无法判定其先后顺序。

如何保证 Queue 中数据的顺序？

当我们作为MQ的生产者需要发送顺序消息时，需要在 send 方法中，传入一个 MessageQueueSelector
MessageQueueSelector 中需要实现一个select方法，这个方法就是用来定义要把消息发送到哪个MessageQueue 的，通常可以使用取模法进行路由：

SendResult sendResult = producer.send(msg, new MessageQueueSelector(){
    @Override
    //mqs:该Topic下所有可选的MessageQueue
    //msg:待发送的消息
    //arg:发送消息时传递的参数
    public MessageQueue select(List<MessageQueue>mgs,Message msg,Object arg){
        Integer id=(Integer)arg;
        //根据参数，计算出一个要接收消息的MessageQueue的下标
        int index= id % mgs.size();
        //返回这个MessageQueue
        return mgs.get(index);
    }
}, orderId);

通过以上形式就可以将需要有序的消息发送到同一个队列中。需要注意的时候，这里需要使用同步发送的方式

将顺序消息发送至 Apache RocketMQ 后，会保证设置了同一消息组的消息，按照发送顺序存储在同一队列中。服务端顺序存储逻辑如下：

相同消息组的消息按照先后顺序被存储在同一个队列。
不同消息组的消息可以混合在同一个队列中，且不保证连续。

如上图所示，消息组 1 和消息组 4 的消息混合存储在队列 1 中， Apache RocketMQ 保证消息组 1 中的消息G1-M1、G1-M2、G1-M3 是按发送顺序存储，且消息组 4 的消息 G4-M1、G4-M2 也是按顺序存储，但消息组 1 和消息组 4 中的消息不涉及顺序关系。

如何保证 Consumer 消费顺序？

RocketMQ的MessageListener回调函数提供了两种消费模式，

有序消费模式 MessagelistenerOrderly
发消费模式 MessageListenerConcurrently。

所以，想要实现顺序消费，需要使用 MessageListenerOrderly 模式接收消息：

consumer.registerMessageListener(new MessageListenerOrderly(){
    Override
    public Consume0rderlystatus consumeMessage(List<MessageExt>msgs ,ConsumeOrderlyContext context) {
        System.out.printf("Receive order msg:"+ new string(msgs.get(@).getBody()));
        return ConsumeOrderlystatus.SUCCESS;
    }
});