ROCKETMQ——顺序消费示例

最新推荐文章于 2024-04-18 14:34:27 发布
最新推荐文章于 2024-04-18 14:34:27 发布
阅读量329 收藏 1
点赞数
文章标签： python
原文链接：https://my.oschina.net/liangxiao/blog/2992706
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

摘要

局部顺序消费：可以保证路由到同一个队列的消息是被顺序消费的。

全局顺序消费：让所有消息路由到同一个队列，这样就可以保证全局消费是顺序的。

这两种顺序，只是Producer指定队列的地方不一样，其它的都一样的。

示例

先看个简单的，全局顺序消费。同一个topic的所有消息是顺序消费的。

全局顺序消费

Producer

public class Producer {
    public static void main(String[] args) throws UnsupportedEncodingException {
        try {
        	DefaultMQProducer   producer = new DefaultMQProducer("please_rename_unique_group_name");
            producer.setNamesrvAddr("10.201.9.65:9876;10.201.9.67:9876");
            producer.start();

            String[] tags = new String[] {"TagA", "TagB", "TagC", "TagD", "TagE"};
            for (int i = 0; i < 10; i++) {
                int orderId = i % 10;
                Message msg =
                    new Message("TopicTest", tags[i % tags.length], "KEY" + i,
                        ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
                SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
					/**
					 * 全局顺序、局部顺序差别就在这里。
					 * mqs 表示所有的队列
					 * msg 消息
					 * arg 传进来的参数的，根据这个参数选定队列。本示例传进来的就是固定的0队列。下个局部顺序示例，这里就是动态的参数i
					 */
                    @Override
                    public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
                        Integer id = (Integer) arg;
                        int index = id % mqs.size();
                        return mqs.get(index);
                    }
                }, 0);

                System.out.println("队列ID:"+ sendResult.getMessageQueue().getQueueId());
            }

            producer.shutdown();
        } catch (MQClientException | RemotingException | MQBrokerException | InterruptedException e) {
            e.printStackTrace();
        }
    }
}
Consumer

两个同样的Consumer示例（Consumer，Consumer2）

public class Consumer {

    public static void main(String[] args) throws MQClientException {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_3");
        consumer.setNamesrvAddr("10.201.9.65:9876;10.201.9.67:9876");
        
        /**
         * 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费<br>
         * 如果非第一次启动，那么按照上次消费的位置继续消费
         */
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
        consumer.subscribe("TopicTest", "TagA || TagC || TagD");
        consumer.registerMessageListener(new MessageListenerOrderly() {
            AtomicLong consumeTimes = new AtomicLong(0);

            @Override
            public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {

                this.consumeTimes.incrementAndGet();
                context.setAutoCommit(true);
            	System.out.println("当前时间："+System.currentTimeMillis()+"接收到消息,队列ID："+context.getMessageQueue().getQueueId());
            	for(MessageExt msg:msgs){
            		System.out.println("消息内容为："+new String(msg.getBody()));
            	}
                return ConsumeOrderlyStatus.SUCCESS;
            }
        });
        consumer.start();
        System.out.printf("Consumer Started.%n");
    }
}

结果分析

分析下面结果，消息都发送到同一个队列（0号队列，默认一般会有4条队列），所有消息都被Consumer给顺序消费了。

producer
消息内容:Hello RocketMQ 0
队列ID:0
消息内容:Hello RocketMQ 1
队列ID:0
消息内容:Hello RocketMQ 2
队列ID:0
消息内容:Hello RocketMQ 3
队列ID:0
消息内容:Hello RocketMQ 4
队列ID:0
消息内容:Hello RocketMQ 5
队列ID:0
消息内容:Hello RocketMQ 6
队列ID:0
消息内容:Hello RocketMQ 7
队列ID:0
消息内容:Hello RocketMQ 8
队列ID:0
消息内容:Hello RocketMQ 9
队列ID:0
Consumer
当前时间：1545659825114接收到消息,队列ID：0
消息内容为：Hello RocketMQ 0
当前时间：1545659825172接收到消息,队列ID：0
消息内容为：Hello RocketMQ 1
当前时间：1545659825232接收到消息,队列ID：0
消息内容为：Hello RocketMQ 2
当前时间：1545659825289接收到消息,队列ID：0
消息内容为：Hello RocketMQ 3
当前时间：1545659825344接收到消息,队列ID：0
消息内容为：Hello RocketMQ 4
当前时间：1545659825406接收到消息,队列ID：0
消息内容为：Hello RocketMQ 5
当前时间：1545659825473接收到消息,队列ID：0
消息内容为：Hello RocketMQ 6
当前时间：1545659825536接收到消息,队列ID：0
消息内容为：Hello RocketMQ 7
当前时间：1545659825604接收到消息,队列ID：0
消息内容为：Hello RocketMQ 8
当前时间：1545659825662接收到消息,队列ID：0
消息内容为：Hello RocketMQ 9
Consumer2

结果为空，没有任何消费

分区顺序消费

分区顺序消费，是在同一个队列里面的消息，按照顺序消费，但是在不同队列里面的消息，则不一定按顺序消费。

Producer

public class Producer {
    public static void main(String[] args) throws UnsupportedEncodingException {
        try {
        	DefaultMQProducer   producer = new DefaultMQProducer("please_rename_unique_group_name");
            producer.setNamesrvAddr("10.201.9.65:9876;10.201.9.67:9876");
            producer.start();

            String[] tags = new String[] {"TagA", "TagB", "TagC", "TagD", "TagE"};
            for (int i = 0; i < 10; i++) {
                int orderId = i % 10;
                Message msg =
                    new Message("TopicTest", tags[i % tags.length], "KEY" + i,
                        ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
                SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
                    @Override
                    public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
                        Integer id = (Integer) arg;
                        int index = id % mqs.size();
                        return mqs.get(index);
                    }
                }, 0);

                System.out.println("队列ID:"+ sendResult.getMessageQueue().getQueueId());
            }

            producer.shutdown();
        } catch (MQClientException | RemotingException | MQBrokerException | InterruptedException e) {
            e.printStackTrace();
        }
    }
}
Consumer

跟上面consumer代码一样

Consumer2

跟上面的Consumer代码一样

结果分析

producer 按照轮训的方式把消息发送到四个队列，consumer将消息安好队列归类，发现同一个队列里面的消息还是按照顺序消费的。

Producer结果
消息内容:Hello RocketMQ 0
队列ID:0
消息内容:Hello RocketMQ 1
队列ID:1
消息内容:Hello RocketMQ 2
队列ID:2
消息内容:Hello RocketMQ 3
队列ID:3
消息内容:Hello RocketMQ 4
队列ID:0
消息内容:Hello RocketMQ 5
队列ID:1
消息内容:Hello RocketMQ 6
队列ID:2
消息内容:Hello RocketMQ 7
队列ID:3
消息内容:Hello RocketMQ 8
队列ID:0
消息内容:Hello RocketMQ 9
队列ID:1
Consumer结果
当前时间：1545659891805接收到消息,队列ID：0
消息内容为：Hello RocketMQ 0
当前时间：1545659891866接收到消息,队列ID：1
消息内容为：Hello RocketMQ 1
当前时间：1545659891926接收到消息,队列ID：2
消息内容为：Hello RocketMQ 2
当前时间：1545659891984接收到消息,队列ID：3
消息内容为：Hello RocketMQ 3
当前时间：1545659892332接收到消息,队列ID：0
消息内容为：Hello RocketMQ 8
当前时间：1545659892392接收到消息,队列ID：1
消息内容为：Hello RocketMQ 9
Consumer2结果
当前时间：1545659892099接收到消息,队列ID：0
消息内容为：Hello RocketMQ 4
当前时间：1545659892159接收到消息,队列ID：1
消息内容为：Hello RocketMQ 5
当前时间：1545659892219接收到消息,队列ID：2
消息内容为：Hello RocketMQ 6
当前时间：1545659892290接收到消息,队列ID：3
消息内容为：Hello RocketMQ 7
Consumer 和 Consumer2 结果按照队列归类
队列0
Consumer
当前时间：1545659891805接收到消息,队列ID：0
消息内容为：Hello RocketMQ 0
Consumer2
当前时间：1545659892099接收到消息,队列ID：0
消息内容为：Hello RocketMQ 4

队列1
Consumer
当前时间：1545659891866接收到消息,队列ID：1
消息内容为：Hello RocketMQ 1

Consumer2
当前时间：1545659892159接收到消息,队列ID：1
消息内容为：Hello RocketMQ 5

Consumer
当前时间：1545659892392接收到消息,队列ID：1
消息内容为：Hello RocketMQ 9



队列2
Consumer
当前时间：1545659891926接收到消息,队列ID：2
消息内容为：Hello RocketMQ 2
Consumer2
当前时间：1545659892219接收到消息,队列ID：2
消息内容为：Hello RocketMQ 6

队列3
Consumer
当前时间：1545659891984接收到消息,队列ID：3
消息内容为：Hello RocketMQ 3
Consumer2
当前时间：1545659892290接收到消息,队列ID：3
消息内容为：Hello RocketMQ 7队列0
Consumer
当前时间：1545659891805接收到消息,队列ID：0
消息内容为：Hello RocketMQ 0
Consumer2
当前时间：1545659892099接收到消息,队列ID：0
消息内容为：Hello RocketMQ 4

队列1
Consumer
当前时间：1545659891866接收到消息,队列ID：1
消息内容为：Hello RocketMQ 1

Consumer2
当前时间：1545659892159接收到消息,队列ID：1
消息内容为：Hello RocketMQ 5

Consumer
当前时间：1545659892392接收到消息,队列ID：1
消息内容为：Hello RocketMQ 9



队列2
Consumer
当前时间：1545659891926接收到消息,队列ID：2
消息内容为：Hello RocketMQ 2
Consumer2
当前时间：1545659892219接收到消息,队列ID：2
消息内容为：Hello RocketMQ 6

队列3
Consumer
当前时间：1545659891984接收到消息,队列ID：3
消息内容为：Hello RocketMQ 3
Consumer2
当前时间：1545659892290接收到消息,队列ID：3
消息内容为：Hello RocketMQ 7

转载于:https://my.oschina.net/liangxiao/blog/2992706

weixin_34126557
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
硬核干货：详解RocketMQ 顺序消费机制
wdj_yyds的博客
05-31 799
顺序消息是指对于一个指定的 Topic ，消息严格按照先进先出（FIFO）的原则进行消息发布和消费，即先发布的消息先消费，后发布的消息后消费。顺序消息分为和。
rocketmq 顺序消费源码细讲
xiao__miao的博客
09-28 639
前言：这一篇幅可能较长，我会说的比较细致。有耐心的看下去，没耐心的，那就这样吧！！嘻嘻。对了，我这里说的是消费端的顺序消费，生产端没什么好讲的，就顺序放进去就好了。有疑问的可以在下面留言，我这里说的主要是3.2.6版本的，负载均衡消费的顺序消费，也会说点相关4.4.0版本的东西。， just start！！！wow！ 先来看下消费启动的代码： public static void m...
RocketMQ实现顺序消费
for_work_xy的博客
04-07 221
而消费消息的时候从多个queue上拉取消息，这种情况发送和消费是不能保证顺序。但是如果控制发送的顺序消息只依次发送到同一个queue中，消费的时候只从这个queue上依次拉取，则就保证了顺序。当发送和消费参与的queue只有一个，则是全局有序；如果多个queue参与，则为分区有序，即相对每个queue，消息都是有序的。订单号相同的消息会被先后发送到同一个队列中，消费时，同一个OrderId获取到的肯定是同一个队列。消息进同一队列，一个队列对应一个消费者，按照创建→付款→推送→完成的步骤进行消费。
RocketMQ顺序消息消费重试DEMO
最新发布
zjy660358的专栏
04-18 911
id为1和9同queue，所以1报错，id9一定不会消费，那么返回SUSPEND_CURRENT_QUEUE_A_MOMENT 表示等一会，再继续处理这批消息。如果业务需求对于顺序消费 - 强要求，那么推荐在监听器中根据map中一定要根据重试次数采取一定措施，通知到人。如果顺序要求不高，或者不想这么麻烦，可以设置重试次数，使队列可以正常下去，做好记录及抛掉此消息后对后续消息影响的判断。根据试验，确实如此，重试默认时间间隔可以看出是1S。可以看到这条有问题的消息直接抛掉，消费ID9的了。
RocketMQ如何实现顺序消费
youngerxsd的博客
07-19 1229
默认MQ没有实现顺序消费，因为RocketMQ1个topic中有四个队列，且消费是多线程进行消费的。即使队列能够保证先进先出，但是由于多线程CPU执行的随机性，我们无法保证消费的顺序，从而导致了消费的乱序。
Rocketmq顺序消息样例
记录开发日常笔记
08-06 253
Rocketmq顺序消息样例 前言介绍 消息有序指的是可以按照消息的发送顺序来消费(FIFO)。RocketMQ可以严格的保证消息有序，可以分为分区有序或者全局有序。 顺序消费的原理解析，在默认的情况下消息发送会采取Round Robin轮询方式把消息发送到不同的queue(分区队列)；而消费消息的时候从多个queue上拉取消息，这种情况发送和消费是不能保证顺序。但是如果控制发送的顺序消息只依次发送到同一个queue中，消费的时候只从这个queue上依次拉取，则就保证了顺序。当发送和消费参与的queue只有
粉色温馨——HTML框架示例
01-21
"粉色温馨——HTML框架示例"是一个以粉色为主题，展示了前端网页设计的项目。这个项目的重点在于使用HTML语言构建一个用户界面，旨在创造一个温馨、舒适的用户体验。HTML（HyperText Markup Language）是网页开发的...
PHP预定义接口——Iterator用法示例
01-21
本文实例讲述了PHP预定义接口——Iterator用法。分享给大家供大家参考，具体如下： Iterator（迭代器）接口 可在内部迭代自己的外部迭代器或类的接口。 接口摘要 Iterator extends Traversable { /* 方法 */ ...
springBoot整合RocketMQ及坑的示例代码
08-26
主要介绍了springBoot整合RocketMQ及坑的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
RocketMQ生产者和消费者Java代码示例.zip
12-26
本示例主要关注其在Java环境下的生产者和消费者实现，帮助开发者理解如何在实际项目中运用RocketMQ。 首先，我们要了解RocketMQ的基本概念。生产者是发送消息的角色，消费者则是接收并处理消息的角色。在Java中，...
PHP标准库 (SPL)——Countable用法示例
01-19
本文实例讲述了PHP标准库 (SPL)——Countable用法。分享给大家供大家参考，具体如下： 类实现 Countable 可被用于 count() 函数. 接口摘要 Countable { /* 方法 */ abstract public count ( void ) : int } 当一...
RocketMQ的顺序消息（顺序消费）
热门推荐
终生学习践行者
10-29 4万+
简单介绍了消息有序性的概念，以及RocketMQ如何实现消息的顺序消费。
RocketMQ源码21-顺序消费实现原理
BASK2312的博客
04-23 245
向Broker申请的消息队列锁集群模式下一个消息队列同一时刻只能被同一个消费组下的某一个消费者进行，为了避免负载均衡等原因引起的变动，消费者会向Broker发送请求对消息队列进行加锁，如果加锁成功，记录到消息队列对应的复制代码消费者处理拉取消息时的消息队列锁消费者在处理拉取到的消息时，由于可以开启多线程进行处理，所以处理消息前通过复制代码消息消费锁消费者在调用consumeMessage方法之前会加消费锁，主要是为了避免在消费消息时，由于负载均衡等原因，复制代码作者：hsfxuebao。
RocketMQ的顺序消费
maimai1993的博客
05-29 9444
上游系统通过消息队列，发送一个订单的状态操作信息，下游系统如何接受消息，并且需要严格保证订单状态的操作顺序性
RocketMQ的顺序消费实现（分区有序、全局有序）
yqqの博客
06-20 2816
全局有序比较简单，主要控制在于创建Topic指定只有一个队列，同步确保生产者与消费者都只有一个实例进行即可。
RocketMQ——顺序消费（代码）
东天里的冬天
07-03 1万+
关于rocketmq顺序消费的理解和图示可以查看该博文：RocketMQ——顺序消费和重复消费本博客主要是以代码示例来了解顺序消费的相关内容,建议在此之前先了解下顺序消费的原理。注：RocketMQ可以严格的保证消息有序，但这个顺序，不是全局顺序，只是分区（queue）顺序，如果想要全局顺序，那么需要保证只有一个分区。1.producerpackage com.gwd.rocketmq; imp...
springboot整合rocketmq实现顺序消费
lsqingfeng的博客
03-18 6161
消息队列依然成为当下非常火热的中间件，而rocketmq作为阿里开源的中间件产品，历经数次超大并发的考验，依然成为中间件产品的首选。而有时候我们在使用消息队列的时候，往往需要能够保证消息的顺序消费，而rocketmq是可以支持消息的顺序消费的。rocketmq在发送消息的时候，是将消息发送到不同的队列（queue,也有人称之为分区）中，然后消费端从多个队列中读取消息进行消费，很明显，在这种全局模式...
说说 MQ 之 RocketMQ， 顺序消费和无序消费
linuxheik的专栏
03-16 5417
RocketMQ 是出自 A 公司的开源产品，用 Java 语言实现，在设计时参考了 Kafka，并做出了自己的一些改进，消息可靠性上比 Kafka 更好，目前，RocketMQ 的文档仍然不够丰富 1 2，社区仍然无法与 Kafka 比肩，但 A 公司已经推出了基于 RocketMQ 的云产品 3，相信未来 RocketMQ 也会有不错的发展。本文采用 RocketMQ 3.2.6 进行实验，由...
RocketMQ顺序消费，局部顺序，同一个orderid的放入一个列队中
小哇
03-04 1221
实现原理 我们知道生产的message最终会存放在Queue中，如果一个Topic关联了16个Queue,如果我们不指定消息往哪个队列里放，那么默认是平均分配消息到16个queue， 好比有100条消息，那么这100条消息会平均分配在这16个Queue上，那么每个Queue大概放5～6个左右。这里有一点很重的是: 同一个queue，存储在里面的message 是按照先进先出的原则 这个时...
rocketmq顺序消费模式代码
03-26
下面是一个简单的示例代码，展示如何在 RocketMQ 中...此外，也可以在消费者端设置 MessageListenerOrderly 的 ConsumeOrderlyContext 中的属性来控制消费顺序。但是，在性能方面要略逊于在生产者端设置的顺序消费。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值