RocketMQ TAG/SQL过滤消费实现原理以及消息丢失问题

已于 2022-05-13 09:38:28 修改
阅读量2.4k 收藏 6
点赞数 1
分类专栏： 精通消息队列MQ 文章标签： java RocketMQ 消息队列 过滤消费
于 2021-10-18 21:33:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Saintmm/article/details/120829502
版权

一、背景

在分析完RocketMQ Consumer端的消息拉取流程之后，发现一个很有意思的钩子函数，可以用来自定义消息的过滤消费。那么我们来看一下RocketMQ是如何实现过滤消费的?

二、消息过滤方式

1、使用Tag标签

在大多数情况下，TAG是一个简单而有用的设计，其可以来简单的选择我们想要的消息。

1）实现方式

Consumer代码：

public static void main(String[] args) throws Exception {
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("study-consumer");
    consumer.setNamesrvAddr("10.10.100.100:9876");

    // 消费者订阅topic时，添加Tag过滤规则
    consumer.subscribe("saint-study-topic", "TAG-A");

    // 集群模式，只有一个consumer能消费到消息。
    consumer.setMessageModel(MessageModel.CLUSTERING);

    consumer.registerMessageListener(new MessageListenerConcurrently() {
        @Override
        public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
            for (MessageExt msg : msgs) {
                System.out.println(new String(msg.getBody()));
            }

            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        }
    });

    consumer.start();
    System.out.println("Consumer start。。。。。。");

}

生产者代码：

public static void main(String[] args) throws Exception {
    DefaultMQProducer producer = new DefaultMQProducer("saint-study");
    // 设置nameserver地址
    producer.setNamesrvAddr("10.10.100.100:9876");
    producer.start();

    // topic 和body
    Message msg = new Message("saint-study-topic", "TAG-A", "key01", "study010".getBytes(StandardCharsets.UTF_8));
    Message msg2 = new Message("saint-study-topic", "TAG-B", "key02", "study011".getBytes(StandardCharsets.UTF_8));
    Message msg3 = new Message("saint-study-topic", "TAG-C", "key03", "study012".getBytes(StandardCharsets.UTF_8));
    Message msg4 = new Message("saint-study-topic", "TAG-A", "key04", "study013".getBytes(StandardCharsets.UTF_8));

    List<Message> list = new ArrayList<>();
    list.add(msg);
    list.add(msg2);
    list.add(msg3);
    list.add(msg4);

    // 批量消息发送消息
    SendResult send = producer.send(list);
    System.out.println("sendResult: " + send);

    // 关闭生产者
    producer.shutdown();
    System.out.println("已经停机");
}

运行生产者，我们可以发现成功生产了4条消息：
在这里插入图片描述
运行消费者，我们可以发现只消费到了TAG为“TAG-A”的消息，即：study010、study013
在这里插入图片描述

2）错误使用TAG过滤消费导致消息丢失问题！

（1）问题描述
  1. 启动消费者1，消费组为study-consumer，订阅saint-study-topic的消息，tag设置为TAG-A
  2. 启动消费者2，消费组也为study-consumer，也订阅saint-study-topic的消息，但是tag设置为TAG-B
  3. 启动生产者，生产者发送含有TAG-A,TAG-B的消息各3条
  4. 消费者1没有收到任何消息，消费者2收到部分消息（tag为TAG-B）

从下图我们可以看到，消费者2消费到了tag为TAG-B的消息；而消费者1并没有消费到任何消息
在这里插入图片描述
在这里插入图片描述

（2）结论

同一个消费组，给不同的消费者设置不同的tag时，后启动的消费者会覆盖先启动的消费者设置的tag。

  • tag是消息过滤的条件，经过服务端和客户端两层过滤，最后只有后启动的消费者才能收到部分消息。
（3）原因总结
  • 同一个consumer group的订阅关系，保存在RebalanceImpl类的Map中。key为topic；
    在这里插入图片描述
    再看SubscriptionData中，有一个tagsSet用来表示当前topic对应消费组的包含的Tag信息。
    在这里插入图片描述
    那么问题来了：集群模式下的如果多个consumer在一个实例上怎区分？
  • SubscriptionData和topic的对应关系是在RebalanceImpl中记录的，每个DefaultMQPushConsumerImpl都有自己的RebalanceImpl；所以消费端的SubscriptionData信息不会被覆盖。但是Broker端采用一个MAP保存topic和TAG的对应关系，会覆盖TAG信息。

每个消费者都有自己的SubscriptionData，我们可以看到消费者1的SubscriptionData中的tagsSet为TAG-A。
在这里插入图片描述
再看从broker端拉到的消息，它属性中的tag为TAG-B。因为consumer2是最后注册的，所以服务端会根据TAG-B做一遍消息过滤再返回。
在这里插入图片描述

  • 不同的消费者启动后，依次向Broker端注册订阅关系，因为tag不一样，导致Broker端Map中同一topic的tag被覆盖。比如：消费者1订阅tag1，消费者2订阅tag2。最后Broker端的map中只保存tag2；
  • 过滤的核心是是tag，tag被更新，过滤条件被改变。服务端过滤后只返回tag2的消息；
  • 客户端接收消息后，再次过滤。先启动的消费者1订阅tagA，但是服务端返回tag2，所以消费者1收不到任何消息。消费者2能收到一半的消息（集群模式，假设消息平均分配，另外一半分给tag2）

2、使用SQL过滤

Tag过滤语法简单，但是其灵活性也比较差，相对比较适合过滤场景简单 且 客户端对计算资源不是很敏感的用户。如果想实现更为复杂的消息过滤功能可以使用Sql Filter。

注意：只有使用push模式的消费者才能用使用SQL92标准的sql语句。

1）基本语法

RocketMQ只定义了一些基本语法来支持这个特性。你也可以很容易地扩展它。

  • 数值比较，比如：>，>=，<，<=，BETWEEN，=；
  • 字符比较，比如：=，<>，IN；
  • IS NULL 或者 IS NOT NULL；
  • 逻辑符号 AND，OR，NOT；

常量支持类型为：

  • 数值，比如：123，3.1415；
  • 字符，比如：‘abc’，必须用单引号包裹起来；
  • NULL，特殊的常量
  • 布尔值，TRUE 或 FALSE

2）实现方式

Producer代码：

public static void main(String[] args) throws Exception {
    DefaultMQProducer producer = new DefaultMQProducer("saint-study");
    // 设置nameserver地址
    producer.setNamesrvAddr("10.10.100.100:9876");
    producer.start();

    // topic 和body
    List<Message> messages = new ArrayList<>();
    for (int i = 10; i < 30; i ++) {
        Message msg = new Message("saint-study-topic", "TAG-B", "key02", ("study000" + i).getBytes(StandardCharsets.UTF_8));
        msg.putUserProperty("age", String.valueOf(i));
        messages.add(msg);
    }

    SendResult send = producer.send(messages);
    System.out.println("sendResult: " + send);

    // 关闭生产者
    producer.shutdown();
    System.out.println("已经停机");
}

Consumer代码：

public static void main(String[] args) throws Exception {
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("study-consumer");
    consumer.setNamesrvAddr("10.10.100.100:9876");

    // 给consumer关联SQL过滤规则
    MessageSelector messageSelector = MessageSelector.bySql("age >= 18 and age <= 28");
    consumer.subscribe("saint-study-topic", messageSelector);
    consumer.setMessageModel(MessageModel.CLUSTERING);

    consumer.registerMessageListener(new MessageListenerConcurrently() {
        @Override
        public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
            for (MessageExt msg : msgs) {
                System.out.println(new String(msg.getBody()));
            }

            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        }
    });

    consumer.start();
    System.out.println("Consumer start。。。。。。");

}

三、原理剖析

1、TAG过滤原理

1）服务端过滤

consumer订阅时，会将订阅信息注册到到服务端；
broker端保存订阅信息的是Map类，key为topic，value主要是tag；
subVersion取当前时间。

留个坑，等研究完Broker端消息的存储再补充。

2）客户端过滤

客户端过滤的代码实现体现在PullAPIWrapper#processPullResult()方法中，这个我们在《Rocket源码分析pullMessage：Consumer是如何从broker拉取消息的？》一文中有详细介绍Consumer拉取消息的流程。
在这里插入图片描述
如果内存中主题订阅信息中tagsSet不为空，并且Consumer订阅时不是ClassFilter会执行Tag过滤；Tag过滤就是单纯的字符串值的比对。

为什么服务端做了Tag过滤，客户端还要做呢？

  • 服务端采用Hash的方式存储Tag信息，所以必然会存在hash冲突的情况，导致过滤存在不准确性，所以客户端需要进行精确过滤。
  • 客户度通过tag的字符串值做对比，不相等的tag消息不返回给消费者。

2、SQL过滤原理

存服务端过滤。

留个坑，等研究完Broker端消息的存储再补充。

秃秃爱健身
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
jsp自定义标签技术(实现原理与代码以及平台搭建步骤)
01-08
由于jsp代码规范要求不能出现一句java代码。所有就有了jsp 的自定义标签技术。 所以jsp的自定义标签技术就是除去jsp的中的java代码。同时封装标签个人感觉也是一种安全性的体现，不让别人知道实现内部的代码。 那个如何实现自定义标签技术呢？ 第一你得搭建一个环境，apche公司给了两个jar包分别是jstl.Jar和standar.Jar.将他们导入到javaweb工程下wed-inf的lib目录下面。（这两个jar包网上很多，也可上官网直接下载） 环境构建完毕。下面我用一段代码来制作一个获取本地ip的标签。 第一步：创建一个java类，该类实现了tag接口，或者直接继承tagsupp
组态王与SQL连接.zip_KRK_sql server_组态王_组态王tagname.db_连接
07-13
组态王和SQL server 连接，能进行数据库连接，数据库数据查询，数据库数据插入等等
RocketMQ概念 producer：生产者，消息发送者
10-24
RocketMQ概念 组成： producer：生产者，消息发送者 producer group：生产者组，由多个生产者组成， nameSrv：路由注册中心，将 Broker：代理服务器，负责消息的存储，投递，查询 BrokerCluster：代理服务器集群，保证高可用和高可靠 consumer：消费者，消费消息 consumer gruop：消费者组，每个消费者组之间互不干扰。 消费模式： 集群消费：消费者负载均衡的消费消息 广播消费：每个消费者都各自消费全部消息，一份消息被多个消费者消费 具有以下特点： 能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 Topic：主题，将消息进行分类，让消费者只消费自己想要的消息 Tag：将消息在Topic的基础上再次分类，消费者可以进一步细化自己想要的消息
slonik-sql-tag-raw:Slonik SQL标记，用于构建动态查询
05-24
slonik-sql-tag-raw SQL标记，用于构建动态查询。 警告 没有已知的用例生成raw查询的用例，这些用例不能嵌套嵌套的sql表达式或其他现有之一所涵盖。 raw仅作为一种执行外部存储的静态查询（例如，存储在文件中的查询）的机制而存在。 用法 import { raw , } from 'slonik-sql-tag-raw' ; raw ( sql : string , values ?: $ReadOnlyArray < PrimitiveValueExpressionType> ) => RawSqlTokenType ; 原始/动态SQL可以使用raw内联，例如 sql ` SELECT 1 FROM ${ raw ( '"bar"' ) } ` ; 产生： { sql : 'SELECT 1 FROM "bar"' ,
Rocketmq面试（一） Rocketmq同一个消费组订阅不同的Tag，会有什么问题？
Chen_leilei的博客
05-30 2156
关键在于最后这个tag的hashcode值，这个 tag 的作用是过滤消息，假如一个 Consumer 订阅了 Topic1 中的 Tag1，那这个 Consumer 拉取消息时，首先从 Name Server 获取订阅关系，得到当前 Consumer 订阅的所有 tag 的 hashcode 集合 codeSet。1.订阅的Topic相同，或者订阅的Topic相同 tag也相同，或者Topic相同，tag的顺序也相同。最后一个问题，怎么看是不是存在订阅关系不一致的 现象？不想看官网的，直接看结论。
RocketMQ 使用TAG进行消息过滤
男儿当自强
11-19 4464
RocketMQ支持Broker端和Consumer端的TAG过滤，Broker端过滤：减少无用消息的网络传输，但是增加了broker端的负担；Consumer端过滤，增加了无用消息的网络传输，但是减少了broker端的负担。SQL过滤，使用了服务端实现，TAG过滤，主要使用消费端实现。SQL过滤：性能低，支持使用SQL语句复杂的过滤逻辑；TAG过滤：性能高，只支持简单的过滤。Broker端过滤：先变量消息队列中TAG与消费者订阅的TAG使用HASHCODE比较，匹配上则把对应的消息发给消费...
Rocketmq Filter 消息过滤（TAGS、SQL92）原理详解 & 源码解析
金甲虫的博客
08-08 1783
第一层根据消费队列过滤主要是用来在许多消费组之间筛选出有可能匹配的消费组，第二层过滤（消息详情过滤）则根据消费组设定的过滤表达式，根据消息的属性和 Tag 进行精确匹配过滤。通过这两个过滤方法，可以实现二层过滤，先根据较少的信息（消费队列）进行一次粗粒度的过滤，再根据完整的消息信息做精确过滤，这样能够减少精确过滤的次数，提升性能。具体的做法是，在消息生产时构造消费队列的过程当中，获取所有订阅该 Topic 的有过滤条件的消费组，预先根据这些消费组的过滤表达式进行一次精确匹配，计算出这条消息是否匹配。
RocketMQ Topic/Group/Tags介绍
xzh_blog
07-20 8454
Topic是RocketMQ里对消息的一级归类。RocketMQ支持发布和订阅模型，通过Topic完成消息的发布和订阅。消息生产者将消息发送到Topic中，而消息消费者则通过订阅该Topic来消费消息。
RocketMQ根据Tag消息过滤
天地孤影任我行的博客
08-27 1694
RocketMQ支持消息tag，消费者可以同时订阅某个topic的多个tag；RocketMQ的队列存储结构是由偏移量，消息大小，消息tag组成 支持如下2种的过滤方式 (1) Tag过滤方式：Consumer端在订阅消息时除了指定Topic还可以指定TAG，如果一个消息有多个TAG，可以用||分隔。其中，Consumer端会将这个订阅请求构建成一个 SubscriptionData，发送一个Pull消息的请求给Broker端。Broker端从RocketMQ的文件存储层—Store读取数据之前，会
【RocketMQ】过滤消息(tag过滤、sql过滤)
m0_45406092的博客
08-12 1364
文章目录概述Tag过滤SQL过滤 概述 在大多数情况下，可以使用Message的Tag属性来简单快速的过滤信息。 Tag过滤 使用Tag过滤消息的消息生产者案例见：org.apache.rocketmq.example.filter.TagFilterProducer 使用Tag过滤消息的消息消费者案例见：org.apache.rocketmq.example.filter.TagFilterConsumer 主要是看消息消费者。consumer.subscribe(“TagFilterTest”, “Ta
面试官：RocketMQ一个消费组内订阅同一个主题不同的TAG为什么会丢消息
中间件兴趣圈
04-30 3587
看源码并不是目的，理解内部的运作机制才是关键，为遇到问题提供解决思路。
RocketMQ消息的过滤（TAG过滤、SQL过滤）解析
yqqの博客
06-25 652
在实际的开发应用中，对于一类消息尽可能使用一个Topic进行存储，但在消费时需要选择您想要的消息，这时可以使用RocketMQ的消息过滤功能，具体实现是利用消息的Tag和Key。Key一般用于消息在业务层面的唯一标识。对发送的消息设置好 Key，以后可以根据这个 Key 来查找消息。比如消息异常，消息丢失，进行查找会很方便。RocketMQ 会创建专门的索引文件，用来存储 Key与消息的映射，由于底层实现是 Hash 索引，应尽量使 Key唯一，避免潜在的哈希冲突。Tag可以理解为是二级分类。
源码分析RocketMQ消息过滤机制上篇-----消息消费服务端过滤与TAG模式过滤实现
中间件兴趣圈
02-04 9756
1、消息消费过滤机制 1.1 根据 tagcode 过滤 1.2 高级过滤 上述资源来源于 RocketMQ 官方文档。 通过官方文档，我们基本可以知道，消息的过滤机制与服务端息息相关，更细一点的讲，与拉取消息实现过程脱离不了关系，事实上也的确如此，MessageFilter 的使用者也就是 DefaultMessageStore#getMessage 方法，为了弄清楚消息过滤...
RocketMQ消息丢失问题
liaozuyao的博客
12-20 1742
导致RocketMQ消息丢失的原因
【消息队列】RocketMQ 消息的 topic 和 tag 区别以及使用方式
最新发布
代码的魅力，根本走不出来
01-18 2229
在 RocketMQ 中，消息的 Topic 和 Tag 是用于标识和分类消息的两个关键属性。它们有不同的作用和使用方式。
【RocketMQ】RocketMQ标签、过滤及消息重复消费
Decade_Faiz的博客
06-01 1917
Broker 端会为每个消息创建索引（哈希索引），应用可以通过 topic、key 来查询这条消息内容，以及消息被谁消费。但通常情况下，不同的 Topic 之间的消息没有必然的联系，而 Tag 则用来区分同一个 Topic 下相互关联的消息，例如全集和子集的关系、流程先后的关系。注：msgId一定是全局唯一标识符，但是实际使用中，可能会存在相同的消息有两个不同msgId的情况（消费者主动重发、因客户端重投机制导致的重复等），这种情况就需要使业务字段进行重复消费。如果失败，则直接返回。消息为什么会重复消费？
Topic 与 Tag 最佳实践
lppl010_的专栏
04-07 2670
https://help.aliyun.com/document_detail/95837.html 概念 Topic 和 Tag 的定义如下： Topic：消息主题，通过 Topic 对不同的业务消息进行分类。 Tag：消息标签，用来进一步区分某个 Topic 下的消息分类，消息队列 RocketMQ 允许消费者按照 Tag 对消息进行过滤，确保消费者最终只消费到他关注...
我擦，RocketMQ的tag还有这个“坑”
中间件兴趣圈
03-21 2828
RocketMQ提供了基于Tag的消息过滤机制，但在使用过程中有很多朋友或多或少会有一些疑问，我不经意在RocketMQ官方钉钉群，我记得有好多朋友都有问到如下问题： 今天我就与RocketMQ Tag几个值得关注的问题，和大家来做一个分享，看过后的朋友，如果觉得有帮助，期待你的点赞支持。 消费组订阅关系不一致为什么会到来消息丢失？ 如果一个tag的消息数量很少，是否会显示很高的延迟？ 1、消费组订阅关系不一致导致消息丢失 从消息消费的视角来看消费组是一个基本的物理隔离单位，每一个消费组拥有自
rocketmq 怎么保证消息消费的顺序 代码实现
06-09
RocketMQ可以通过设置顺序消息来保证消息的消费顺序。即按照消息的发送顺序来消费消息，这种方式只能保证顺序消息的有序消费，普通消息的消费仍然是无序的。 在RocketMQ中，顺序消息是指在同一个消息队列中，按顺序发送的消息。如果我们需要保证消息的顺序消费，需要做以下几个步骤： 1. 创建顺序消息生产者 ```java DefaultMQProducer producer = new DefaultMQProducer("producer_group"); producer.setNamesrvAddr("localhost:9876"); producer.start(); ``` 2. 设置顺序消息 ```java Message message = new Message("topic", "tag", "key", "body".getBytes()); // 设置顺序消息的业务ID，用来保证消息发送的顺序 message.setKeys("order_id"); // 发送顺序消息 SendResult sendResult = producer.send(message, new MessageQueueSelector() { @Override public MessageQueue select(List<MessageQueue> list, Message message, Object o) { // 获取订单ID String orderId = (String) o; // 计算订单ID的hash值 int index = Math.abs(orderId.hashCode()) % list.size(); // 选择消息队列 return list.get(index); } }, "order_id"); ``` 3. 创建顺序消息消费者 ```java DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("consumer_group"); consumer.setNamesrvAddr("localhost:9876"); consumer.subscribe("topic", "tag"); consumer.registerMessageListener(new MessageListenerOrderly() { @Override public ConsumeOrderlyStatus consumeMessage(List<MessageExt> list, ConsumeOrderlyContext context) { // 消费消息 for (MessageExt messageExt : list) { System.out.println(new String(messageExt.getBody())); } // 返回消费状态 return ConsumeOrderlyStatus.SUCCESS; } }); consumer.start(); ``` 在顺序消息的发送端，我们需要设置顺序消息的业务ID，并使用`MessageQueueSelector`选择消息队列。在顺序消息的消费端，我们需要注册`MessageListenerOrderly`监听器，按照顺序消费消息，最后返回消费状态。 需要注意的是，为了保证顺序消息的顺序性，我们需要保证同一个业务ID的消息被发送到同一个消息队列中，这样才能保证消息的消费顺序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秃秃爱健身

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值