我们要实现顺序消费的话,首先要知道rocketMq的消息模型
一个topic能够有多个queue,但是一个queue只能存储一个topic的消息
一个queue的消息只能被一个消费者组中的一个消费者消费
由上图可知,我们要实现顺序消费的话,不仅要实现发消息的顺序,也要保证消费者的顺序,同时还要保证这些消息在同一个queue中;
然后我们再来考虑我们所谓的顺序消费是什么?
- 全局顺序消费:只能有一个数据队列(queue),和一个消费者实例。原因是RocketMQ只提供在单个queue上使用FIFO顺序的有序消息。多个queue之间并不能保证消息的严格先后性。
- 局部顺序消费:那么只需要将我们需要顺序消费的数据放入同一个queue中,然后消费者按顺序去消费就好;
代码实现
生产者
将需要顺序执行的消息想办法放到同一个queue中,rocketMq的Producer提供了一个MessageQueueSelector用于topic消息放入哪个queue的选择
private SendResult order(MqMessage<?> mqMessage, MQProducer producer) {
return wrapper(() -> {
Message msg = convertMessage(mqMessage);
return producer.send(msg, new MessageQueueSelector() {
@Override
public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
// 这里的arg就是传入的 mqMessage.getKey(),使用hashCode然后散列到queue中,相同的arg消息就会放在同一个queue中
return mqs.get(Math.max(Math.abs(arg.hashCode() % mqs.size()), 0));
}
}, mqMessage.getKey()); // 这里可以用业务中任何一个可以判断需要顺序执行的属性值,比如订单id等
});
}
消费者
rocketMq的消费者提供了两种消费方式
- MessageListenerConcurrently:并发消费,使用线程池开启多个线程并发的去消费queue中的消息。
- MessageListenerOrderly:顺序消费,加分布式锁和本地锁保证同时只有一条线程去消费一个队列上的数据。
private void registerMessageConcurrentlyListener(DefaultMQPushConsumer consumer, List<MessageConsumerBean> consumerBeans) {
consumer.registerMessageListener((MessageListenerConcurrently) (messages, context) -> {
boolean result;
for (MessageExt m : messages) {
// ......
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
}
private void registerMessageOrderlyListener(DefaultMQPushConsumer consumer, List<FileDownConsumerBean> consumerBeans) {
consumer.registerMessageListener((MessageListenerOrderly) (messages, context) -> {
for (MessageExt m : messages) {
// ......
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
}
这样就实现是消息的顺序消费
最后有一个思考,我使用MessageListenerConcurrently然后将线程池的最大线程数设置为1是否能满足顺序消费呢?
可以参考这个文档:MessageListenerOrderly vs MessageListenerConcurrently(只设置一个线程) 有啥区别