消息过滤是指消费者一端在消费消息时,对消息进行选择性过滤,只消费符合过滤条件的消息。
一、RocketMQ消息过滤机制
RocketMQ的消息过滤机制大致分为两种:标签过滤和类过滤
。其中标签过滤又分为Tag过滤和SQL92过滤
。
类过滤是指支持自定义个一个过滤逻辑,消费时传到Broker,Broker根据自定义的逻辑进行消息过滤,生产中用的相对少,暂不讨论。
二、几种过滤机制介绍
1.Tag过滤
说明:消息发送时可以指定该消息的Tag号,消息存储到CommitLog后会异步转发构建ConsumeQueue,ConsumeQueue条目中包含消息Tag的hashcode值,消费者消费消息会从broker拉取消息,拉取时指定消息必须带有目标Tag值,那么遍历ConsumeQueue条目时会判断条目中Tag的hashcode值是否等于目标Tag的hashcode值,如果相等,说明可能是消费者感兴趣的消息。但是,因为比较的是Tag的hashcode值,所以实际的Tag可能不一样,所以消息拉取到消费者端后还要比较Tag值,才能保证是消费者正真感兴趣的消息。
优点:仅仅根据ConsumeQueue就可以进行过滤,过滤完之后才去CommitLog拉取实际的消息内容返回给消费者,效率比较高。
缺点:消费者端需要做进一步的比对才可以确定是否是感兴趣的消息。
2.Sql92过滤(属性表达式)
说明:同样在消息发送时指定消息的扩展属性,消息存储到CommitLog,消息拉取时,根据Topic从ConsumeQueue中取出消息的偏移量之后,还需要根据偏移量去CommitLog中遍历,判断某个消息的属性是否匹配属性表达式,匹配才会返回消费者。
优点:可以设置多个自定义属性值,过滤可以做到多样化。并且属性值直接比较可以确保返回的消息都是消费者感兴趣的消息。
缺点:仍然需要遍历Topic下的所有消息,判断是否匹配属性表达式,有一定的开销。
3.类过滤
说明:在Broker端可以运行一个或者多个过滤服务器FilterServer
,消费者可以自定义消息过滤实现类
并将其上传至FilterServer,那么消费者的拉取命令会中间经过一层FilterServer,Broker返回的消息先在FilterServer端做一次过滤之后再返回消费者。
优点:过滤逻辑完全由消费者把控,想怎么过滤怎么过滤,只要在java类里面能实现出来就行。
缺点:需要运行java类,过滤类太多的情况下消耗Broker性能。
三、标签过滤应用
1.创建Springboot项目,添加rockermq 依赖
<!--rocketMq依赖-->
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-spring-boot-starter</artifactId>
<version>2.2.1</version>
</dependency>
2.配置rocketmq
# 端口
server:
port: 8083
# 配置 rocketmq
rocketmq:
name-server: 127.0.0.1:9876
#生产者
producer:
#生产者组名,规定在一个应用里面必须唯一
group: group1
#消息发送的超时时间 默认3000ms
send-message-timeout: 3000
#消息达到4096字节的时候,消息就会被压缩。默认 4096
compress-message-body-threshold: 4096
#最大的消息限制,默认为128K
max-message-size: 4194304
#同步消息发送失败重试次数
retry-times-when-send-failed: 3
#在内部发送失败时是否重试其他代理,这个参数在有多个broker时才生效
retry-next-server: true
#异步消息发送失败重试的次数
retry-times-when-send-async-failed: 3
3 根据tag过滤消息
tag过滤是最常用的方式。
消息发送端只能设置一个tag,消息接收端可以设置多个tag。
接收消息端通过’||‘设置多个tag,比如:tag1||tag2||tag3||…
3.1 生产者
生产端发送三个消息,tag分别是 tag1,tag2,tag3
package com.example.springbootrocketfilter.controller;
import org.apache.rocketmq.spring.core.RocketMQTemplate;
import org.springframework.beans.factory.annotation.Autowired;