rocketMq实现消费的顺序消费

我们要实现顺序消费的话,首先要知道rocketMq的消息模型
在这里插入图片描述

一个topic能够有多个queue,但是一个queue只能存储一个topic的消息
一个queue的消息只能被一个消费者组中的一个消费者消费

由上图可知,我们要实现顺序消费的话,不仅要实现发消息的顺序,也要保证消费者的顺序,同时还要保证这些消息在同一个queue中;
然后我们再来考虑我们所谓的顺序消费是什么?

  • 全局顺序消费:只能有一个数据队列(queue),和一个消费者实例。原因是RocketMQ只提供在单个queue上使用FIFO顺序的有序消息。多个queue之间并不能保证消息的严格先后性。
  • 局部顺序消费:那么只需要将我们需要顺序消费的数据放入同一个queue中,然后消费者按顺序去消费就好;

代码实现

生产者
将需要顺序执行的消息想办法放到同一个queue中,rocketMq的Producer提供了一个MessageQueueSelector用于topic消息放入哪个queue的选择

    private SendResult order(MqMessage<?> mqMessage, MQProducer producer) {
        return wrapper(() -> {
            Message msg = convertMessage(mqMessage);
            return producer.send(msg, new MessageQueueSelector() {
                @Override
                public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
                    // 这里的arg就是传入的 mqMessage.getKey(),使用hashCode然后散列到queue中,相同的arg消息就会放在同一个queue中
                    return mqs.get(Math.max(Math.abs(arg.hashCode() % mqs.size()), 0)); 
                }
            }, mqMessage.getKey()); // 这里可以用业务中任何一个可以判断需要顺序执行的属性值,比如订单id等
        });
    }

消费者
rocketMq的消费者提供了两种消费方式

  • MessageListenerConcurrently:并发消费,使用线程池开启多个线程并发的去消费queue中的消息。
  • MessageListenerOrderly:顺序消费,加分布式锁和本地锁保证同时只有一条线程去消费一个队列上的数据。
    private void registerMessageConcurrentlyListener(DefaultMQPushConsumer consumer, List<MessageConsumerBean> consumerBeans) {
        consumer.registerMessageListener((MessageListenerConcurrently) (messages, context) -> {
            boolean result;
            for (MessageExt m : messages) {
             // ......           
             }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
    }

    private void registerMessageOrderlyListener(DefaultMQPushConsumer consumer, List<FileDownConsumerBean> consumerBeans) {
        consumer.registerMessageListener((MessageListenerOrderly) (messages, context) -> {
            for (MessageExt m : messages) {
               // ......           
             }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
    }

这样就实现是消息的顺序消费

最后有一个思考,我使用MessageListenerConcurrently然后将线程池的最大线程数设置为1是否能满足顺序消费呢?
可以参考这个文档:MessageListenerOrderly vs MessageListenerConcurrently(只设置一个线程) 有啥区别

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值