源码分析RocketMQ同一个消费组设置不同tag，消息订阅失败问题

最新推荐文章于 2024-07-08 08:15:27 发布
最新推荐文章于 2024-07-08 08:15:27 发布
阅读量7.6k 收藏 8
点赞数 2
文章标签： java 数据结构与算法
原文链接：https://juejin.im/post/5cfa7065f265da1ba647dddd
版权
本文通过源码分析RocketMQ中同一消费组设置不同tag导致消息订阅失败的原因。当不同消费者设置不同tag时，后启动的消费者会覆盖先启动的订阅，改变过滤条件，从而影响消息接收。服务端和客户端的过滤机制导致了消息丢失和不准确的过滤效果。
摘要由CSDN通过智能技术生成

背景介绍

项目组使用阿里RocketMQ，对同一个消费组设置不同的tag订阅关系，出现消息丢失的问题，本文从rocketmq源码研究消息发布与订阅原理，并分析导致该问题的原因。

官方说明

  • 告诉使用者：同一个消费组，必须保持订阅关系一致
  • 为什么？它没有说！只能从源码找答案

问题复现

  1. 启动消费者1，消费组为group1，订阅topicA的消息，tag设置为tag1 || tag2
  2. 启动消费者2，消费组也为group1，也订阅topicA的消息，但是tag设置为tag3
  3. 启动生产者，生产者发送含有tag1,tag2,tag3的消息各10条
  4. 消费者1没有收到任何消息，消费者2收到部分消息

先上结论

  • 同一个消费组中，设置不同tag时，后启动的消费者会覆盖先启动的消费者设置的tag
  • tag决定了消息过滤的条件，经过服务端和客户端两层过滤，最后只有后启动的消费者才能收到部分消息

原理说明

消息如何保存

CommitLog

  • 保存所有topic的原始
最低0.47元/天 解锁文章
weixin_34112208
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python使用rocketmq-client-python实现自建RocketMQ的数据消费及推送
weixin_41970395的博客
05-19 4371
python使用rocketmq-client-python实现自建RocketMQ数据消费和推送
RocketMQ同一Topic、消费组创建多个消费者失败问题
qq_43128724的博客
05-27 8655
文章目录业务场景问题复现解决方式问题跟踪 业务场景 rocketmq建议一个服务对应一个topic，但是一个服务下会有多个不同的业务消息，同时rocketmq建议不同的业务消息对应不同的tag，当SpringBoot整合RocketMQ时，设置多个消费者发生报错 问题复现 RocketMQ创建多个消费者(同一个消费组)消费同一Topic的不同tag的消息发生报错 2021-05-27 11:10:12.862 ERROR 7636 --- [ main] o.a.r.s.a.Listen
RocketMQ之消费者带你了解概念和消费流程
最新发布
通往IT大道的专栏
07-08 843
需要注意的是，这里所说的顺序消费指的是队列维度的顺序，即在消费一个队列时，消费消息的顺序和消息发送的顺序一致。为消费者分配队列消费的这一个负载过程并不是一劳永逸的，比如当消费者数量变化、Broker 掉线等情况发生后，原先的负载就变得不再均衡，此时就需要重新进行负载均衡，这一过程被称为重平衡机制。如果是集群消费模式，还需要将消费进度让其他消费者知道，所以需要提交消费进度。在集群消费模式下，消费组中的消费者共同消费订阅的 Topic 中的所有消息，这里就存在 Topic 中的队列如何分配给消费者的问题。
【RocketMQ】RocketMQ标签、过滤及消息重复消费
Decade_Faiz的博客
06-01 2179
Broker 端会为每个消息创建索引（哈希索引），应用可以通过 topic、key 来查询这条消息内容，以及消息被谁消费。但通常情况下，不同的 Topic 之间的消息没有必然的联系，而 Tag 则用来区分同一个 Topic 下相互关联的消息，例如全集和子集的关系、流程先后的关系。注：msgId一定是全局唯一标识符，但是实际使用中，可能会存在相同的消息有两个不同msgId的情况（消费者主动重发、因客户端重投机制导致的重复等），这种情况就需要使业务字段进行重复消费。如果失败，则直接返回。消息为什么会重复消费？
用了这么久才知道！RocketMQ的tag还有这个“坑”！
kangbin825的专栏
06-12 965
综上述所述，使用TAG并不会因为对应tag数量比较少，从而造成大量积压的情况。
RocketMQ之Topic和Tag最佳实践
qq_53281187的博客
04-09 1329
RocketMQ的主题用于对消息进行分类和组织。通过为不同类型的消息分配不同的主题，可以使消息更具可读性和可管理性。每个主题都有自己的消息队列，用于存储该主题下的消息。每个队列都可以并行地接收和处理消息，从而实现高吞吐量和负载均衡。生产者在发送消息时指定目标主题，消费者则通过订阅感兴趣的主题来接收对应的消息。RocketMQ根据主题将消息路由到相应的队列上，然后再由消费者消费。
【消息队列】RocketMQ 消息的 topic 和 tag 区别以及使用方式
代码的魅力，根本走不出来
01-18 3057
在 RocketMQ 中，消息的 Topic 和 Tag 是用于标识和分类消息的两个关键属性。它们有不同的作用和使用方式。
面试官：RocketMQ同一个消费组内的消费者订阅了不同tag，会有问题吗？
zjj2006的专栏
12-18 8356
面试官：同一个消费组内的消费者，如果订阅了相同的 topic，但是订阅的 tag 不一样，会有什么问题吗？ 我：会出现丢消息的情况。 面试官：能详细说一说吗？ 我：RocketMQ 要求同一个消费组内的消费者必须订阅关系一致，如果订阅关系不一致，会出现消息丢失的问题。 面试官：什么是订阅关系一致呢？ 我：订阅关系一致是指同一个消费者组下所有消费者所订阅的 Topic、Tag 必须完全一致。如下图所示： 其中，消费组 1 中的消费组都订阅了 Topic1 中的 Tag1，消费组 2 中的消费组
Rocketmq Filter 消息过滤（TAGS、SQL92）原理详解 & 源码解析
金甲虫的博客
08-08 2150
第一层根据消费队列过滤主要是用来在许多消费组之间筛选出有可能匹配的消费组，第二层过滤（消息详情过滤）则根据消费组设定的过滤表达式，根据消息的属性和 Tag 进行精确匹配过滤。通过这两个过滤方法，可以实现二层过滤，先根据较少的信息（消费队列）进行一次粗粒度的过滤，再根据完整的消息信息做精确过滤，这样能够减少精确过滤的次数，提升性能。具体的做法是，在消息生产时构造消费队列的过程当中，获取所有订阅该 Topic 的有过滤条件的消费组，预先根据这些消费组的过滤表达式进行一次精确匹配，计算出这条消息是否匹配。
Topic 与 Tag 最佳实践
lppl010_的专栏
04-07 2703
https://help.aliyun.com/document_detail/95837.html 概念 Topic 和 Tag 的定义如下： Topic：消息主题，通过 Topic 对不同的业务消息进行分类。 Tag：消息标签，用来进一步区分某个 Topic 下的消息分类，消息队列 RocketMQ 允许消费者按照 Tag 对消息进行过滤，确保消费者最终只消费到他关注...
RocketMQ消息的过滤（TAG过滤、SQL过滤）解析
yqqの博客
06-25 752
在实际的开发应用中，对于一类消息尽可能使用一个Topic进行存储，但在消费时需要选择您想要的消息，这时可以使用RocketMQ的消息过滤功能，具体实现是利用消息的Tag和Key。Key一般用于消息在业务层面的唯一标识。对发送的消息设置好 Key，以后可以根据这个 Key 来查找消息。比如消息异常，消息丢失，进行查找会很方便。RocketMQ 会创建专门的索引文件，用来存储 Key与消息的映射，由于底层实现是 Hash 索引，应尽量使 Key唯一，避免潜在的哈希冲突。Tag可以理解为是二级分类。
RocketMQ 使用TAG进行消息过滤
男儿当自强
11-19 4831
RocketMQ支持Broker端和Consumer端的TAG过滤，Broker端过滤：减少无用消息的网络传输，但是增加了broker端的负担；Consumer端过滤，增加了无用消息的网络传输，但是减少了broker端的负担。SQL过滤，使用了服务端实现，TAG过滤，主要使用消费端实现。SQL过滤：性能低，支持使用SQL语句复杂的过滤逻辑；TAG过滤：性能高，只支持简单的过滤。Broker端过滤：先变量消息队列中TAG与消费者订阅的TAG使用HASHCODE比较，匹配上则把对应的消息发给消费...
RocketMQ (四) 使用RocketMQ原生API收发消息代码样例
wanght笔记
07-16 8120
文章目录同步消息生产者消费者异步消息生产者消费者单向消息生产者消费者顺序消息生产者消费者延时消息生产者消费者批量消息生产者消费者消息过滤生产者消费者事务消息生产者消费者 同步消息 生产者 package demo1; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.
rocketMq - tag不一致造成的假象
weixin_34318272的博客
04-15 463
概述 这篇文章是以同事在实际工作中遇到的问题作为分析的切入点，加深自己对mq的掌握，践行“干中学”的团队理念。 当自己差不多把基本概念都掌握的差不多的时候，必须需要实际的案例或者实践来提深自己的深度，这个时候just do it 变得很重要，所以我喜欢不停的被人挑战，截止目前帮人解答的问题包括...
rocketmq消息获取tag_干货分享 | ERocketMQ大云消息队列消息轨迹设计与实现
weixin_39768444的博客
11-22 687
友情提示：全文6000多文字，预计阅读时间18分钟一背景一条消息从生产者发出后，消息是否发送成功，被保存在哪个broker节点，是否被消费者正常消费都是用户在使用消息队列中间件时所需重点考虑和关注的点。如果没有一种方便和快捷的手段，用户基本上很难在一个大规模消息队列集群中搜索一条消息的当前处理状态。因此，消息队列需要提供一种机制来记录并保存集群环境中所有消息的当前状态(是否被生产者发送...
源码剖析RocketMQ为什么同一个消费组设置不同tag会出现奇怪现象
【原】编程界的小学生
07-10 2071
编程界的小学生一、问题复现1、描述2、代码2.1、Consumer2.2、Producer3、结果二、问题答案三、源码验证1、调用链2、源码2.1、registerConsumer2.2、两个问题 一、问题复现 1、描述 两个一样的Consumer Group的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2，然后分别启动。这时候往Topic的tag1里发送10条数据，Topic的tag2里发送10条。目测应该是
我擦，RocketMQ的tag还有这个“坑”
中间件兴趣圈
03-21 2954
RocketMQ提供了基于Tag的消息过滤机制，但在使用过程中有很多朋友或多或少会有一些疑问，我不经意在RocketMQ官方钉钉群，我记得有好多朋友都有问到如下问题： 今天我就与RocketMQ Tag几个值得关注的问题，和大家来做一个分享，看过后的朋友，如果觉得有帮助，期待你的点赞支持。 消费组订阅关系不一致为什么会到来消息丢失？ 如果一个tag的消息数量很少，是否会显示很高的延迟？ 1、消费组订阅关系不一致导致消息丢失 从消息消费的视角来看消费组是一个基本的物理隔离单位，每一个消费组拥有自
RocketMQ 中Topic、Tag、GroupName基本概念介绍
热门推荐
LoveSummer
07-08 1万+
本文主要介绍RocketMQ中Topic、Tag、GroupName的概念、设计初衷以及使用方法。 一.Topic 首先看看官方的定义： Topic是生产者在发送消息和消费者在拉取消息的类别。Topic与生产者和消费者之间的关系非常松散。具体来说，一个Topic可能有0个，一个或多个生产者向它发送消息；相反，一个生产者可以发送不同类型Topic的消息。类似的，消费者组可以订阅一个或多个主题，只要该组的实例保持其订阅一致即可。 Topic在Google翻译中解释为话题。我们可以理解为第一级消息类型，类比于
关于阿里云对RocketMQ的topic,tag,consumer关系的理解
脑壳疼
11-27 694
关于阿里云对RocketMQ的topic,tag,consumer关系的理解
springboot中RocketMQ订阅同一个主题消息有序消费 代码
06-01
在Spring Boot中使用RocketMQ订阅同一个主题消息有序消费的代码示例： 1. 消息生产者 ```java import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.common.message.Message; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component; @Component public class OrderProducer { @Autowired private DefaultMQProducer defaultMQProducer; public void sendMsg(String msg, String tag) throws Exception { Message message = new Message("OrderTopic", tag, msg.getBytes()); defaultMQProducer.send(message); } } ``` 在消息生产者中，我们使用DefaultMQProducer发送消息。 2. 消息消费者 ```java import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext; import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly; import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderlyContext; import org.apache.rocketmq.common.message.MessageExt; import org.springframework.stereotype.Component; import java.util.List; @Component public class OrderConsumer implements MessageListenerOrderly { @Override public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) { for (MessageExt messageExt : msgs) { String msg = new String(messageExt.getBody()); System.out.println("消费者接收到消息：" + msg); } return ConsumeOrderlyStatus.SUCCESS; } } ``` 在消息消费者中，我们实现了MessageListenerOrderly接口，保证同一个消费者实例中的消息按照顺序进行消费。同时，我们将consumeOrderly属性设置为true，保证同一个消费者实例中的消息按照顺序进行消费。 3. 配置文件 ```yaml spring: rocketmq: name-server: 127.0.0.1:9876 producer: group: OrderProducerGroup consumer: group: OrderConsumerGroup topic: OrderTopic tag: * consume-thread-max: 10 consume-orderly: true ``` 在配置文件中，我们将消费者的consumeOrderly属性设置为true，保证同一个消费者实例中的消息按照顺序进行消费。 需要注意的是，订阅同一个主题的消息有序消费是针对同一个消费者实例的。如果有多个消费者实例同时订阅了同一个主题，那么消息的顺序无法得到保证。如果需要多个消费者实例同时订阅同一个主题的消息，并且保证消息的顺序，可以使用MessageListenerOrderly接口作为消息监听器，保证同一个消费者按照顺序消费同一个Message Queue中的消息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值