RocketMQ源码分析之基于SQL92过滤消息

最新推荐文章于 2023-11-02 09:37:24 发布
最新推荐文章于 2023-11-02 09:37:24 发布
阅读量786 收藏 5
点赞数
分类专栏： rocketmq学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25145759/article/details/113629159
版权

1. 使用demo

以下demo来源于RocketMQ源码中example包

  • producer

producer端除了在构建消息时设置tag外，使用putUserProperty方法对消息设置一些属性

public class SqlFilterProducer {

    public static void main(String[] args) throws Exception {

        DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
        producer.setNamesrvAddr("127.0.0.1:9876");
        producer.start();

        String[] tags = new String[] {"TagA", "TagB", "TagC"};

        for (int i = 0; i < 10; i++) {
            Message msg = new Message("SqlFilterTest",
                tags[i % tags.length],
                ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET)
            );
            msg.putUserProperty("a", String.valueOf(i));

            SendResult sendResult = producer.send(msg);
            System.out.printf("%s%n", sendResult);
        }

        producer.shutdown();
    }
}
  • consumer

consumer端使用MessageSelector.bySql通过sql筛选消息

public class SqlFilterConsumer {

    public static void main(String[] args) throws Exception {

        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name");

        // Don't forget to set enablePropertyFilter=true in broker
        consumer.subscribe("SqlFilterTest",
            MessageSelector.bySql("(TAGS is not null and TAGS in ('TagA', 'TagB'))" +
                "and (a is not null and a between 0 and 3)"));

        consumer.registerMessageListener(new MessageListenerConcurrently() {

            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                ConsumeConcurrentlyContext context) {
                System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        consumer.setNamesrvAddr("127.0.0.1:9876");
        consumer.start();
        System.out.printf("Consumer Started.%n");
    }
}

2. broker端配置方法

在broker的配置文件中添加以下配置项并重启broker:

  • enablePropertyFilter = true （启用基于标准的SQL92模式过滤消息）

3. 实现原理

  • consumer

（1）调用subscribe(final String topic, final MessageSelector messageSelector)订阅topic并指定SQL表达式。该方法首先判断messageSelector是否为空，如果为空则调用subscribe(String topic, String subExpression)也就是基于tag模式，需要注意的是订阅的是所有的tag；如果不为空则调用build方法根据consumer订阅的topic、表达式以及类型来构造订阅信息，并将订阅信息放入rebalanceImpl的subscriptionInner属性中。

public void subscribe(final String topic, final MessageSelector messageSelector) throws MQClientException {
    try {
        if (messageSelector == null) {
            subscribe(topic, SubscriptionData.SUB_ALL);
            return;
        }

        SubscriptionData subscriptionData = FilterAPI.build(topic,
            messageSelector.getExpression(), messageSelector.getExpressionType());

        this.rebalanceImpl.getSubscriptionInner().put(topic, subscriptionData);
        if (this.mQClientFactory != null) {
            this.mQClientFactory.sendHeartbeatToAllBrokerWithLock();
        }
    } catch (Exception e) {
        throw new MQClientException("subscription exception", e);
    }
}

（2）在发送完心跳信息后会将过滤的信息存储在broker端ROCKETMQ_HOME/store/config/consumerFilter.json文件中

（3）唤醒RebalanceService服务，该服务会构建PullRequest并将其放到PullMessageService的pullRequestQueue中，接着PullMessageService的pullMessage方法回将PullRequest请求发送给broker，在pullMessage方法中会设置subExpression、classFilter消息过滤相关的属性

（4）consumer收到broker端获取到信息后，在processPullResult不会对比消息的tag与rebalanceImpl中获取到的订阅信息中的tag是否一致，因为在consumer端构建订阅信息时不会构建tagSet和codeSet

public static SubscriptionData build(final String topic, final String subString,
        final String type) throws Exception {
        if (ExpressionType.TAG.equals(type) || type == null) {
            return buildSubscriptionData(null, topic, subString);
        }

        if (subString == null || subString.length() < 1) {
            throw new IllegalArgumentException("Expression can't be null! " + type);
        }

        SubscriptionData subscriptionData = new SubscriptionData();
        subscriptionData.setTopic(topic);
        subscriptionData.setSubString(subString);
        subscriptionData.setExpressionType(type);

        return subscriptionData;
    }
  • broker

  broker端处理拉取消息请求的是PullMessageProcessor的processRequest方法，在处理的过程中会根据请求中的consumerGroup在broker端的consumerTable中获取其ConsumerGroupInfo信息并从ConsumerGroupInfo中获取请求中对应topic的订阅信息；在获取topic的订阅信息后，会从broker端的consumerFilterManager中获取consumer的过滤数据consumerFilterData；然后根据订阅信息构建MessageFilter对象；最后在调用DefaultMessageStore的getMessage方法获取消息时会对消息进行过滤，这里与基于tag消息过滤不同，不是对比tag的hashcode而是先从commitlog中获取消息，然后根据consumerFilterData中的过滤条件与消息进行对比是否满足过滤条件。实现消息对比的方法是isMatchedByCommitLog。

else {
            ConsumerGroupInfo consumerGroupInfo =
                this.brokerController.getConsumerManager().getConsumerGroupInfo(requestHeader.getConsumerGroup());
            if (null == consumerGroupInfo) {
                log.warn("the consumer's group info not exist, group: {}", requestHeader.getConsumerGroup());
                response.setCode(ResponseCode.SUBSCRIPTION_NOT_EXIST);
                response.setRemark("the consumer's group info not exist" + FAQUrl.suggestTodo(FAQUrl.SAME_GROUP_DIFFERENT_TOPIC));
                return response;
            }

            if (!subscriptionGroupConfig.isConsumeBroadcastEnable()
                && consumerGroupInfo.getMessageModel() == MessageModel.BROADCASTING) {
                response.setCode(ResponseCode.NO_PERMISSION);
                response.setRemark("the consumer group[" + requestHeader.getConsumerGroup() + "] can not consume by broadcast way");
                return response;
            }

            subscriptionData = consumerGroupInfo.findSubscriptionData(requestHeader.getTopic());
            if (null == subscriptionData) {
                log.warn("the consumer's subscription not exist, group: {}, topic:{}", requestHeader.getConsumerGroup(), requestHeader.getTopic());
                response.setCode(ResponseCode.SUBSCRIPTION_NOT_EXIST);
                response.setRemark("the consumer's subscription not exist" + FAQUrl.suggestTodo(FAQUrl.SAME_GROUP_DIFFERENT_TOPIC));
                return response;
            }

            if (subscriptionData.getSubVersion() < requestHeader.getSubVersion()) {
                log.warn("The broker's subscription is not latest, group: {} {}", requestHeader.getConsumerGroup(),
                    subscriptionData.getSubString());
                response.setCode(ResponseCode.SUBSCRIPTION_NOT_LATEST);
                response.setRemark("the consumer's subscription not latest");
                return response;
            }
            if (!ExpressionType.isTagType(subscriptionData.getExpressionType())) {
                consumerFilterData = this.brokerController.getConsumerFilterManager().get(requestHeader.getTopic(),
                    requestHeader.getConsumerGroup());
                if (consumerFilterData == null) {
                    response.setCode(ResponseCode.FILTER_DATA_NOT_EXIST);
                    response.setRemark("The broker's consumer filter data is not exist!Your expression may be wrong!");
                    return response;
                }
                if (consumerFilterData.getClientVersion() < requestHeader.getSubVersion()) {
                    log.warn("The broker's consumer filter data is not latest, group: {}, topic: {}, serverV: {}, clientV: {}",
                        requestHeader.getConsumerGroup(), requestHeader.getTopic(), consumerFilterData.getClientVersion(), requestHeader.getSubVersion());
                    response.setCode(ResponseCode.FILTER_DATA_NOT_LATEST);
                    response.setRemark("the consumer's consumer filter data not latest");
                    return response;
                }
            }
        }

        if (!ExpressionType.isTagType(subscriptionData.getExpressionType())
            && !this.brokerController.getBrokerConfig().isEnablePropertyFilter()) {
            response.setCode(ResponseCode.SYSTEM_ERROR);
            response.setRemark("The broker does not support consumer to filter message by " + subscriptionData.getExpressionType());
            return response;
        }

        MessageFilter messageFilter;
        if (this.brokerController.getBrokerConfig().isFilterSupportRetry()) {
            messageFilter = new ExpressionForRetryMessageFilter(subscriptionData, consumerFilterData,
                this.brokerController.getConsumerFilterManager());
        } else {
            messageFilter = new ExpressionMessageFilter(subscriptionData, consumerFilterData,
                this.brokerController.getConsumerFilterManager());
        }

decodeProperties方法会解析从commitlog中获取到的消息，evaluate方法实现消息属性对比。

public boolean isMatchedByCommitLog(ByteBuffer msgBuffer, Map<String, String> properties) {
        if (subscriptionData == null) {
            return true;
        }

        if (subscriptionData.isClassFilterMode()) {
            return true;
        }

        if (ExpressionType.isTagType(subscriptionData.getExpressionType())) {
            return true;
        }

        ConsumerFilterData realFilterData = this.consumerFilterData;
        Map<String, String> tempProperties = properties;

        // no expression
        if (realFilterData == null || realFilterData.getExpression() == null
            || realFilterData.getCompiledExpression() == null) {
            return true;
        }

        if (tempProperties == null && msgBuffer != null) {
            tempProperties = MessageDecoder.decodeProperties(msgBuffer);
        }

        Object ret = null;
        try {
            MessageEvaluationContext context = new MessageEvaluationContext(tempProperties);

            ret = realFilterData.getCompiledExpression().evaluate(context);
        } catch (Throwable e) {
            log.error("Message Filter error, " + realFilterData + ", " + tempProperties, e);
        }

        log.debug("Pull eval result: {}, {}, {}", ret, realFilterData, tempProperties);

        if (ret == null || !(ret instanceof Boolean)) {
            return false;
        }

        return (Boolean) ret;
    }

4. SQL92基本语法

RocketMQ只定义了一些基本语法来支持这个特性。

  • 数值比较，比如：>，>=，<，<=，BETWEEN，=；
  • 字符比较，比如：=，<>，IN；
  • IS NULL 或者 IS NOT NULL；
  • 逻辑符号 AND，OR，NOT；

常量支持类型为：

  • 数值，比如：123，3.1415；
  • 字符，比如：‘abc’，必须用单引号包裹起来；
  • NULL，特殊的常量
  • 布尔值，TRUE 或 FALSE

使用push模式的消费者和DefaultLitePullConsumer可以用使用SQL92标准的sql语句，接口如下：

public void subscribe(final String topic, final MessageSelector messageSelector)

5.比较两种消息过滤方式

  • 两种方式在实现上整体流程都是一样的
  • 基于tag方式在订阅topic时需要指定tag，多个tag之间使用||间隔；基于SQL92方式在订阅topic时需要提供SQL表达式
  • 基于tag方式在broker仅仅会比较tag的hashcode，由于存在hash值冲突，所以会在consumer进行二次比较，二次比较的是tag值；基于SQL92方式在broker端会从commitlog中获取消息并根据SQL表达式进行对比；
  • 使用SQL92方式进行消息过滤需要在broker添加“enablePropertyFilter=true”配置项并重启broker
不爱学习的小妞
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Rocketmq的tag过滤和sql过滤
远方的少年
11-30 1615
rocketmq支持两种方式的消息过滤。 1.tag过滤 （可以根据表达式来过滤tag） consumer.subscribe("topic10", "*"); 2.根据自定义属性进行过滤 consumer.subscribe("topic10", MessageSelector.bySql("age > 16")); 此时sql过滤遵循SQL92规范 注意:rocketmq默认是关闭了属性过滤，所以如果需要使用该功能，需要开启...
Rocketmq Filter 消息过滤（TAGS、SQL92）原理详解 & 源码解析
金甲虫的博客
08-08 1783
第一层根据消费队列过滤主要是用来在许多消费组之间筛选出有可能匹配的消费组，第二层过滤（消息详情过滤）则根据消费组设定的过滤表达式，根据消息的属性和 Tag 进行精确匹配过滤。通过这两个过滤方法，可以实现二层过滤，先根据较少的信息（消费队列）进行一次粗粒度的过滤，再根据完整的消息信息做精确过滤，这样能够减少精确过滤的次数，提升性能。具体的做法是，在消息生产时构造消费队列的过程当中，获取所有订阅该 Topic 的有过滤条件的消费组，预先根据这些消费组的过滤表达式进行一次精确匹配，计算出这条消息是否匹配。
RocketMQ sql92的使用及原理简单分析附源码
念念不忘，必有回响
11-02 249
本次我们对RocketMQ sql92过滤消息进行了简单的使用以及少量的源码分析，并没有完整的从整个流程进行分析，因为本篇并不是源码分析偏。sql92在实际的项目中的相对来说较少，偶尔如果做RocketMQ消息的多册环境或者灰度，可能是一个方案，但不是最佳的。
rocketMQ 错误：The broker does not support consumer to filter message by SQL92
JemeryShen的专栏
09-01 685
出现日常MQClientExcept异常 The broker does not support consumer to filter message by SQL92。此时在服务器rocketMq的broker配置文件。Rocket消费者代码中使用了SQL92标准。
RocketMQ-初体验RocketMQ(10)-过滤消息_SQL92表达式筛选消息
小工匠
11-12 8685
文章目录过滤消息概述基本语法使用限制启用配置 （重要 ）常见错误：The broker does not support consumer to filter message by SQL92示例 过滤消息概述 举个例子： 大部分情况下 ，我们都可以通过TAG来选择我们想要获取的消息，如下 DefaultMQPushConsumer consumer = new DefaultMQPushCo...
RocketMQsql92过滤消息
youngerxsd的博客
07-20 63
【代码】RocketMQsql92过滤消息。
基于SQL的教务管理系统源码.zip
03-10
基于SQL的教务管理系统源码.zip基于SQL的教务管理系统源码.zip基于SQL的教务管理系统源码.zip基于SQL的教务管理系统源码.zip基于SQL的教务管理系统源码.zip基于SQL的教务管理系统源码.zip基于SQL的教务管理系统源码....
基于协同过滤算法的Java电影推荐系统源码
最新发布
03-25
项目简介：本项目是一款基于协同过滤算法构建的电影推荐平台，旨在为用户提供个性化的电影推荐服务。 技术栈： - 主要语言：Java - 辅助技术：JavaScript, CSS 文件构成： - 总文件数：76个 - Java源文件：38个 ...
java开发基于SQLmap的SQL注入工具源码.zip
06-01
基于SQLmap的SQL注入工具源码.。基于SQLmap，使用Java开发 安装教程 安装JDK（需要有javafx） 安装Python 安装SQLmap 基于SQLmap的SQL注入工具源码.。基于SQLmap，使用Java开发 安装教程 安装JDK（需要有javafx）...
基于SQL语法树的SQL注入过滤方法研究
01-20
针对SQL注入攻击，将基于SQL语法树比较的安全策略引入用户输入过滤的设计中，提出了一种新的SQL注入过滤方法。实验结果表明，该方法能够有效地防止SQL注入攻击，并有较高的拦截率和较低的误报率。
rocketmq使用过程中遇到的问题
yanwendonge的博客
12-21 6295
rocketmq使用过程中遇到的问题，在这里只作为记录 生产者生产数据流程：调用 中间件遇到的问题： 1.服务器磁盘日志写满，导致服务阻塞 2.网络异常，发送给第三方接口后，返回false导致大量队列数据阻塞，重试发送 3.消费端消费后返回false，导致大量队列数据阻塞，重试发送 4.阿里云云盾限制IP请求服务端，导致网络异常，数据无法走队列管理 5.producer.setRetryAnoth...
RocketMQ源码(十七)—Broker处理DefaultMQPushConsumer发起的拉取消息请求源码
djdjdxieuej的博客
01-19 740
本次我们讲解了Broker处理拉取消息请求的源码，总体包括构建过滤信息，拉取消息，拉取结果处理（判断直接返回响应还是挂起请求），上报消费点位等步骤。1. 通过DefaultMessageStore#getMessage方法拉取消息，并且进行过滤操作。返回拉取结果GetMessageResult。这是拉取消息的核心方法，涉及到查找ConsumeQueue和CommitLog文件数据，默认最多拉取32条消息。1.1 对于拉取到的消息，将会进行broker端的消息过滤，通过tagsCode进行匹配。
rocketmq核心源码分析第十八篇一消息消费五部曲一服务端消息拉取及MessageArrivingListener-PullRequestHoldService消息挂起
小麒麟的博客
02-02 835
文章目录原理图PullMessageProcessor处理消息拉取请求二级目录三级目录 原理图 PullMessageProcessor处理消息拉取请求 二级目录 三级目录
RocketMQ高级特性与原理
FYHannnnnn的博客
12-09 540
消息的存储机制 目前的高性能磁盘，顺序写速度可以达到600MB/s， 超过了一般网卡的传输速度。但是磁盘随机写的速度只有大概100KB/s，和顺序写的性能相差6000倍！ 数据结构 消息真正的物理存储文件 是CommitLog，ConsumeQueue是消息的逻辑队列，类似数据库的索引文件，存储的是指向物理存储 的地址。每个Topic下的每个Message Queue都有一个对应的ConsumeQueue文件 CommitLog：消息主体以及元数据的存储主体，存储Producer端写入的消息主体
【RocketMQ】消息过滤机制介绍及实践（TAG、SQL92、FilterServer）
浩瀚宇宙的一粒尘埃
08-02 1568
文章目录表达式过滤TAG使用原理SQL92使用原理类过滤使用原理 RocketMQ支持表达式过滤与类过滤两种模式 。 表达式过滤 其中表达式模式分为 TAG和SQL92表达式两种。 TAG 顾名思义，TAG 模式就是简单地为消息定义标签，根据消息的标签进行匹配。 使用 1、在消息发送时，我们可以为每一条消息设置一个TAG标签，消息消费者订阅自己感兴趣的TAG, 一般使用的场景是，对于同一类的功能（如：数据同步）创建一个主题，但对于该主题下的数据，可能不同的系统关心的数据不一样，基础数据各个系统都需要同步，设
RocketMQ源码分析之Broker处理拉取消息请求（1）
05-17 2606
broker处理拉取消息请求，第一次brokerAllowSuspend为true。 public RemotingCommand processRequest(final ChannelHandlerContext ctx, RemotingCommand request) throws RemotingCommandException { return this.proc...
源码分析RocketMQ消息过滤机制上篇-----消息消费服务端过滤与TAG模式过滤实现
中间件兴趣圈
02-04 9756
1、消息消费过滤机制 1.1 根据 tagcode 过滤 1.2 高级过滤 上述资源来源于 RocketMQ 官方文档。 通过官方文档，我们基本可以知道，消息的过滤机制与服务端息息相关，更细一点的讲，与拉取消息实现过程脱离不了关系，事实上也的确如此，MessageFilter 的使用者也就是 DefaultMessageStore#getMessage 方法，为了弄清楚消息过滤...
spark sql源码分析之核心流程
03-16
Spark SQL的核心流程包括以下几个步骤： 1. 解析SQL语句：Spark SQL首先会将输入的SQL语句解析成一棵抽象语法树（AST），这个过程是通过ANTLR工具实现的。 2. 逻辑计划生成：Spark SQL会将AST转换成逻辑计划...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值