RocketMQ顺序消息

已于 2022-11-21 11:20:39 修改
阅读量335 收藏
点赞数
分类专栏： rocketMQ 文章标签： 中间件 消息队列 rocketmq java-rocketmq java
于 2021-03-23 10:04:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_32223873/article/details/115109739
版权

rocketmq顺序消息指的是消费者接收顺序和生产者发送顺序一致，生产者在发送消息时，会发送到主题的多个队列，对应不同服务器的broker上，因为服务器处理速度的差异和网络通信延迟，这一批消息在消费时无法保证按照发送顺序接收；另外即使在同一队列上，由于消费者监听器默认是多线程（20个）处理的，也会导致消息乱序。

因此解决消息顺序问题要从2个角度出发，首先是生产端，需要保证顺序的同一批消息发到同一队列上。

MessageQueueSelector

生产者的发送方法传入队列选择器和消息的shardingKey，通过将shardingKey与队列总数取模得到队列，使得相同shardingKey的消息分到同一队列

对于同一shardingKey，生产者只能有一个进程，并且只能是单线程同步发送，才能保证顺序

SendResult sendResult = producer.send(msg, new MessageQueueSelector(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
cjay_fighting
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
必知必会的RocketMQ消息类型
02-24
普通消息也叫做无序消息，简单来说就是没有顺序的消息，producer只管发送消息，consumer只管接收消息，至于消息和消息之间的顺序并没有保证，可能先发送的消息先消费，也可能先发送的消息后消费。举个简单例子，producer依次发送orderid为1、2、3的消息到broker，consumer接到的消息顺序有可能是1、2、3，也有可能是2、1、3等情况，这就是普通消息。因为不需要保证消息的顺序，所以消息可以大规模并发地发送和消费，吞吐量很高，适合大部分场景。有序消息就是按照一定的先后顺序的消息类型。举个例子来说，producer依次发送orderid为1、2、3的消息到broker，co
RocketMQ如何实现顺序消费
youngerxsd的博客
07-19 1142
默认MQ没有实现顺序消费，因为RocketMQ1个topic中有四个队列，且消费是多线程进行消费的。即使队列能够保证先进先出，但是由于多线程CPU执行的随机性，我们无法保证消费的顺序，从而导致了消费的乱序。
使用RocketMQ实现消息顺序消费
finally_vince的博客
01-03 3978
Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave 的对应关系通过指定相同的BrokerName，不同的BrokerId 来定义，BrokerId为0表示Master，非0表示Slave。但如果把问题定位在整个队列中时，不同的消息在不同的队列中，又不能保证消息的有序性，不如消息A到了队列2，消息B到了队列1，消费者先消费了队列1再消费队列2，就不能保证有序性。
仅此一招，再无消息乱序的烦恼
m0_74931226的博客
11-18 306
在 Bean 上增加 @TagBasedDispatcherMessageConsumer 注解，并指定 topic 和 consumer在 Bean 的方法上添加 @HandleTag 注解，并指定监听的 tag);}}}}}}}
RocketMQ-如何保证顺序消息
m0_71777195的博客
07-30 1303
实际开发中会有以下场景，需要保证一组消息的生产顺序与消费顺序相同，例如那么在 RocketMQ 中该如何保证消息的顺序呢？
RocketMQ的顺序消费
maimai1993的博客
05-29 9173
上游系统通过消息队列，发送一个订单的状态操作信息，下游系统如何接受消息，并且需要严格保证订单状态的操作顺序性
RocketMQ实践：确保消息不丢失与顺序性的高效策略
最新发布
12-23
在使用RocketMQ时如何确保消息的不丢失和顺序性，这对于维护系统的稳定性和可靠性至关重要。首先，消息丢失问题可以通过多个策略来解决，包括生产者使用事务消息机制，配置RocketMQ同步刷盘和Dledger主从架构，以及...
springboot整合rocketmq源码
04-22
springboot整合rocketmq 下载就可上手 已经实现异步消息发送接收 顺序消息发送接收
RocketMQ：发送消息与接收实例
08-28
RockeMQ 服务器安装包、控制台代码、消息发送接收代码【同步发送 异步发送 单向发送 顺序发送】
RocketMQ
奋斗的青年
03-17 6218
1.主题中存在多个队列，生产者向主题中指定的队列发送消息 2.在集群模式下，一个消费者集群共同消费一个主题中的多个队列，但一个队列只会被一个消费者消费;在广播模式下，会被订阅主题的所有消费者消费 3.每个消费者组在每个队列上维护一个消费位移(offset)，消费者每消费一条消息，会发送一个成功响应，位移就向前移动一次，避免消息重复消费 4.RocketMQ通过一个主题配置多个队列，每个队列维护消费者组的消费位移实现主题模式，提高并发能力 5.一个topic分布多个broker上，一个broker上有
rocketMq实现消费的顺序消费
themessi的博客
03-07 1636
rocketMq，顺序消费
如何保证RocketMQ顺序消息以及可能出现的问题
悟已往之不谏，知来者之可追
04-03 1318
生产端提供了一个接口 MessageQueueSelector 如果扩容了怎么保证顺序消费？ 顺序消息，如果某条失败了怎么办？会不会一直阻塞？
37 生产案例：基于RocketMQ进行订单库数据同步的消息乱序问题及解决方案、代码实现
喜欢历史的码农
07-25 1316
1. 消息乱序的场景 前面说过了消息丢失、消息重复、消息处理失败三个问题，接下来是关于消息乱序的问题及解决方案。 场景：消息乱序的发生场景 大数据团队在获取订单数据库中的全部数据后，需要将订单数据保存一份在自己的大数据存储系统中，比如HDFS、Hive、HBase等。 以上的过程在优惠后会基于Canal中间件去监听订单数据库的binlog，也就是通过一些增删改操作的日志，然后把这些binlog发送到MQ里去。 然后大数据系统从MQ里获取binlog，落地到自己的大数据存储中去；再由大数据系统对存储
RocketMQ中的生产者组只能有一个在用的生产者：
KuaiLeShiFu的博客
12-15 9077
RocketMQ中的生产者组只能有一个在用的生产者： Warning: Considering the provided producer is sufficiently powerful at sending messages, only one instance is allowed per producer group and process to avoid unnecessarily i
RocketMq如何保证消息的顺序性
weixin_47068446的博客
03-25 1856
实际上，采用队列选择器的方法不能保证消息的严格顺序，我们的目的是将消息发送到同一个队列中，如果某个broker挂了，那么队列就会减少一部分，如果采用取余的方式投递，将可能导致同一个业务中的不同消息被发送到不同的队列中，导致同一个业务的不同消息被存入不同的队列中，短暂的造成部分消息无序。普通发送消息的模式下，生产者会采用轮询的方式将消费均匀的分发到不同的队列中，然后被不同的消费者消费，因为一组消息在不同的队列，此时就无法使用 RocketMQ 带来的队列有序特性来保证消息有序性了。
RocketMQ 重复消费，消费顺序控制，消息丢失问题处理方案
JavaSupeMan的博客
08-25 5284
1.消费顺序控制 假设有三条消息，创建订单M1，订单付款M2，订单完成M3三个消息，在MQ集群下，假设M1发送到MQ1，M2发送到MQ2，那么将不能保证消息的执行顺序。 最简单的处理方式就是，将消息发布到同一个MQ上，先进先出原则，这样就能保证M1消息先于M2消息发送。 但是还存在一个问题就是，假设M1发送成功了，然后发送了M2，但是M1在消费的时候产生了网络波动，导致M1消费慢于M2。 为了解决它我们可以发送到同一个消费者上，当M1消费成功后返回，再去发送M2去进行消费，当M1没有响应的话一般就会去重新发
RocketMQ顺序消费模式下消息堵塞问题排查处理
zjb1377072049的博客
07-25 2643
RocketMQ顺序消费模式下消息堵塞问题排查处理
RocketMQ消息乱序场景及解决方法
LO_YUN的博客
02-23 3918
消息乱序也是RocketMQ中的一个常见问题，那么到底为什么会出现消息乱序呢？ 首先我们知道在RocketMQ的Topic中，会有多个MessageQueue作为数据分片，每个MessageQueue都会存储部分的消息，那么在生产者产生消息发送到Topic上的时候，按道理这些消息都会均匀的分布在多个MessageQueue中，假如我现在有多个消息，它们是按照顺序排列的，现在它们分布到了不同的Mes...
【RocketMQ】【源码】顺序消息实现原理
S-H_A-N
04-12 1513
假设一个Topic分配了两个消息队列，生产者在发送消息的时候，可以对消息设置一个路由ID，比如想保证一个订单的相关消息有序，那么就使用订单ID当做路由ID，在发送消息的时候，通过订单ID对消息队列的个数取余，根据取余结果选择消息队列，这样同一个订单的数据就可以保证发送到一个消息队列中，消费者端使用`MessageListenerOrderly`处理有序消息，这就是RocketMQ的局部有序，保证消息在某个消息队列中有序。
RocketMQ保证消息顺序springboot代码
06-01
在Spring Boot中使用RocketMQ保证消息顺序的代码示例： 1. 消息生产者 ```java import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.common.message.Message; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component; @Component public class OrderProducer { @Autowired private DefaultMQProducer defaultMQProducer; public void sendMsg(String msg, String tag, String key) throws Exception { Message message = new Message("OrderTopic", tag, key, msg.getBytes()); defaultMQProducer.send(message, (mqs, msg1, arg) -> { Integer id = (Integer) arg; int index = id % mqs.size(); return mqs.get(index); }, 1); } } ``` 在消息生产者中，我们使用DefaultMQProducer发送消息，通过设置MessageQueueSelector接口实现类，将消息发送到同一个Message Queue中。在MessageQueueSelector接口实现类中，我们可以根据指定的key值，将同一批次的消息发送到同一个Message Queue中。 2. 消息消费者 ```java import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext; import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly; import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderlyContext; import org.apache.rocketmq.common.message.MessageExt; import org.springframework.stereotype.Component; import java.util.List; @Component public class OrderConsumer implements MessageListenerOrderly { @Override public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) { for (MessageExt messageExt : msgs) { String msg = new String(messageExt.getBody()); System.out.println("消费者接收到消息：" + msg); } return ConsumeOrderlyStatus.SUCCESS; } } ``` 在消息消费者中，我们实现了MessageListenerOrderly接口，保证同一个消费者实例中的消息按照顺序进行消费。同时，我们将consumeOrderly属性设置为true，保证同一个消费者实例中的消息按照顺序进行消费。 在使用RocketMQ保证消息顺序时，需要注意消息的路由策略和消费者实例的数量。如果需要保证消息的顺序，可以使用同一批次消息的key相同的方式，将消息路由到同一个Message Queue中，然后由同一个消费者消费这些消息。如果需要多个消费者同时处理同一个主题的消息，可以使用MessageListenerOrderly接口作为消息监听器，保证同一个消费者按照顺序消费同一个Message Queue中的消息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值