RocketMQ吐血整理

RocketMQ消息队列

本博文借鉴RocketMQ官网https://www.aliyun.com/product/rocketmq?spm=a2c4g.11186623.2.26.1d81a08b7VKvxt.

一、RocketMQ简介

阿里巴巴双十一官方指定消息产品，支撑阿里巴巴集团所有的消息服务，历经十余年高可用与高可靠的严苛考验，是阿里巴巴交易链路的核心产品；

应用场景描述

作为淘宝/天猫主站最核心的交易系统，每笔交易订单数据的产生会引起几百个下游业务系统的关注，包括物流、购物车、积分、阿里妈妈、流计算分析等等，整体业务系统庞大而且复杂，架构设计稍有不合理，将直接影响主站业务的连续性；

高可用松耦合架构设计

通过上、下游业务系统的松耦合设计，即便下游子系统（如物流、积分等）出现不可用甚至宕机，都不会影响到核心交易系统的正常运转；

削峰填谷

场景描述

诸如秒杀、抢红包、企业开门红等大型活动时皆会带来较高的流量脉冲，或因没做相应的保护而导致系统超负荷甚至崩溃，或因限制太过导致请求大量失败而影响用户体验，削峰填谷是解决该问题的最佳方式；

超高流量脉冲处理能力

MQ 超高性能的消息处理能力可以承接流量脉冲而不被击垮，在确保系统可用性同时，因快速有效的请求响应而提升用户的体验；

分布式事务消息

阿里巴巴的交易系统、支付红包等场景需要确保数据的最终一致性，大量引入 MQ 的分布式事务，既可以实现系统之间的解耦，又可以保证最终的数据一致性。

分布式事务

将核心链路业务与可异步化处理的分支链路进行拆分，将大事务拆分成小事务，减少系统间的交互，既高效又可靠；MQ 的可靠传输与多副本技术在确保消息不丢，At-Least-Once 特性确保数据的最终一致性；

二、消息中间件对比

RocketMQ 是阿里巴巴在 2012 年开源的分布式消息中间件，目前已经捐赠给 Apache 软件基金会，并于 2017 年 9 月 25 日成为 Apache 的顶级项目，撑得住双11，不过在windows部署会有一些不稳定，最好还是在linux上部署。

三、RocketMQ的核心概念

1）生产者Producer

负责生产消息，一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送。同步和异步方式均需要Broker返回确认信息，单向发送不需要。

2）消费者Consumer

负责消费消息，一般是后台系统负责异步消费。一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序。从用户应用的角度而言提供了两种消费形式：拉取式消费、推动式消费。（主动，被动）

3）名字服务Name Server

名称服务充当路由消息的提供者。生产者或消费者能够通过名字服务查找各主题相应的Broker IP列表。多个Namesrv实例组成集群，但相互独立，没有信息交换。（绑定IP，匹配IP）

4）代理服务器Broker Server

消息中转角色，负责存储消息、转发消息。代理服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。代理服务器也存储消息相关的元数据，包括消费者组、消费进度偏移和主题和队列消息等。（主要操作消息组件）

5）消息主题Topic

表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。

6）标签Tag

为消息设置的标志，用于同一主题下区分不同类型的消息。来自同一业务单元的消息，可以根据不同业务目的在同一主题下设置不同标签。标签能够有效地保持代码的清晰度和连贯性，并优化RocketMQ提供的查询系统。消费者可以根据Tag实现对不同子主题的不同消费逻辑，实现更好的扩展性。

7）消息队列MessageQueue

对于每个Topic都可以设置一定数量的消息队列用来进行数据的读取

四、RocketMQ环境搭建

1）下载好一个rocketmq,配置环境变量

2）修改broker配置文件 rocketMQ\rocketmq-4.5.1\conf

在最后加上 namesrvAddr=127.0.0.1:9876

3）启动nameserver 双击 在 ./rocketMQ\rocketmq-4.5.1\bin

4）启动broker 在rocketmq-4.5.1\bin打开 cmd控制台 mqbroker.cmd -c …/conf/broker.conf

5）为了更好的观察broker代理服务器里面的数据，可以启动可视化页面

修改好配置，就可以在cmd页面运行jar包

6）访问http://localhost:9999/#/topic

五、RocketMQ基础配置（原生）

1）导入依赖（普通maven项目）

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.4.0</version>
</dependency>

2）创建生产者

public static void main(String[] args) throws Exception {
    //1 创建生成对象 指定生产组
    DefaultMQProducer producer = new DefaultMQProducer("wolfcode-producer");
    //2 设置名字服务的地址
    producer.setNamesrvAddr("127.0.0.1:9876");
    //3 启动生成者
    producer.start();
    //4 创建一个消息
    Message message = new Message("01-hello", "hello,rocketmq".getBytes("utf-8"));
    //5 发送消息
    producer.send(message);
    //6 关闭连接
    producer.shutdown();
}

发送之后可以刷新broker控制台

3）创建消费者

public static void main(String[] args) throws MQClientException {
        //1 创建一个拉去消息的消费者对象
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("wolfcode-consumer");
        //2 设置名字地址
        consumer.setNamesrvAddr("127.0.0.1:9876");
        //3 绑定消息的主题
		consumer.subscribe("producer-send","*");
        //4 消费者监听处理消息的方法
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
                for (MessageExt msg : list) {
                    System.out.println("消费程:"+Thread.currentThread().getName()+
                                       ",消息ID:"+msg.getMsgId()+
                                       ",消息内容:"+new String(msg.getBody()));
                }
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        //启动消费者
        consumer.start();
    }

4）发送信息和消费信息流程

六、RocketMQ基础使用（原生）

1）rocketMQ三种发送消息的方式

1、同步发送（默认）

必须要等消息持久化到磁盘中以后，rocketmq会给生产者返回一个信息，持久化完成

2、异步发送

不需要等消息持久化到磁盘中，就可以执行后面的业务逻辑

需要等待信息返回，不能关闭服务器

//5 发送消息
//producer.send(message); 同步的
//发送异步消息到一个Broker  
producer.send(msg, new SendCallback() {
    public void onSuccess(SendResult sendResult) {
        System.out.println("消息发送成功");
        System.out.println(JSON.toJSONString(sendResult));
    }

    public void onException(Throwable throwable) {
        System.out.println("消息发送失败" + throwable.getMessage());
        System.out.println("处理失败消息");
    }
});

3、一次性发送

把消息发送到消息中间件中，不关心返回的结果的

//发送同步消息到一个Broker
producer.sendOneway(msg);

2）RocketMQ消费模式

默认是集群模式，可以设置为广播模式

区别：集群模式，一条消息只能被消费一次；广播模式，一条消息可以被多个服务消费

//设置广播模式
consumer.setMessageModel(MessageModel.BROADCASTING);
//设置集群模式
consumer.setMessageModel(MessageModel.CLUSTERING);

3）RocketMQ消费方式

默认是推送方式，可以设置为抽取模式

区别：推送方式必须消费者在线，当生产者生成了信息之后，消费者自动获取

抽取模式：当生成者生成了消息之后，这时刚刚启动消费者，自动抽取生成者没有消费的信息

如果是springboot继承的话，消费者不会停止启动，都是使用推送方式

//4 消费者监听处理消息的方法 这里是抽取的方式
PullResult pullResult = consumer.pull(new MessageQueue("pull-push","*");
for (MessageExt messageExt : pullResult.getMsgFoundList()) {
    System.out.println("消费线程:"+Thread.currentThread().getName()+
    ",消息ID:"+messageExt.getMsgId()+
    ",消息内容:"+new String(messageExt.getBody()));
}

4）延时消息

比如电商里，提交了一个订单就可以发送一个延时消息，1h后去检查这个订单的状态，如果还是未付款就取消订单释放库存。

延时消息的使用限制
现在RocketMq并不支持任意时间的延时，需要设置几个固定的延时等级，从1s到2h分别对应着等级1到18
private String messageDelayLevel = “1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h”;

Message message = new Message("delay", ("延迟消息").getBytes());
//在创建好message对象之后
message.setDelayTimeLevel(3); //这里是对应延时等级 3对应是10s

5）消息过滤

1）Tag标签过滤

// 创建消息，并指定Topic，Tag和消息体 生成者
Message msg = new Message(
    "02-producer-send" /* Topic */,
    "TagA" /* Tag */,
	("我吃了 " + i+"次饭").getBytes("utf-8") /* Message body */
);

// 设置标签 消费者
consumer.subscribe("TOPIC", "TAGA || TAGB");

七、springbot集成

1）基础配置

1）导入依赖

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-spring-boot-starter</artifactId>
    <version>2.0.3</version>
</dependency>

2）生成者配置

rocketmq.name-server=127.0.0.1:9876
rocketmq.producer.group=my-group
server.port=9999

生产者实现代码

@RestController 
public class HelloController {
    //操作rocketMQ的模板类
    @Autowired
    private RocketMQTemplate rocketMQTemplate;

    @RequestMapping("hello")
    public String sendMsg(String message,String age) throws Exception{
   		SendResult sendResult = rocketMQTemplate.syncSend("boot:", message);
        return "success";
    }
}

3）消费者

配置

rocketmq.name-server=127.0.0.1:9876
server.port=8080

@Component
@RocketMQMessageListener(
        topic = "boot:",
    	//消费者分组
        consumerGroup = "my-group",
        messageModel = MessageModel.BROADCASTING
)
public class HelloConsumer implements RocketMQListener<MessageExt> {
    @Override
    public void onMessage(MessageExt messageExt) {
        System.out.println("hello消费消息"+new String(messageExt.getBody()));
    }
}

2）生产消息类型

//同步消息
rocketMQTemplate.syncSend("boot-hello", message);
//异步消息
rocketMQTemplate.asyncSend("boot-hello", message, new SendCallback() {
    @Override
    public void onSuccess(SendResult sendResult) {
        System.out.println("消息消费成功");
    }
    @Override
    public void onException(Throwable e) {
        System.out.println("消息消费失败");
    }
});
//一次性消息
rocketMQTemplate.sendOneWay("boot-hello", message);

3）消费模式

@RocketMQMessageListener注解的配置项配置 
//集群模式
messageModel = MessageModel.CLUSTERING
//广播模式
messageModel = MessageModel.BROADCASTING

4）延时消息

@RequestMapping("03-delay")
public String delay(String message) throws Exception{
	rocketMQTemplate.syncSend("boot-hello",
		MessageBuilder.withPayload(message).build(),3000,2);
    //3000是timeout,超时时间 ；2是delay等级 这里是5s
	return "success";
}

5）消息过滤

1）Tag标签过滤

//生产者  注意 必须要用 : 隔开
rocketMQTemplate.syncSend("boot-filter:"+"TagA",mag);
//消费者
selectorType = SelectorType.TAG,
selectorExpression = "TagA"

2）自定义属性设置过滤

@RequestMapping("04-filter")
public String filter(String age, String mag){
    Map<String,Object> map=new HashMap<>();
    //用户自定义属性
    map.put("age", age);
    map.put("name", "hesj");
    rocketMQTemplate.convertAndSend("04-boot-filter",mag,map);
    return "success";
}

//消费者
selectorType = SelectorType.SQL92,
selectorExpression = "age > 20"

lter")
public String filter(String age, String mag){
Map<String,Object> map=new HashMap<>();
//用户自定义属性
map.put(“age”, age);
map.put(“name”, “hesj”);
rocketMQTemplate.convertAndSend(“04-boot-filter”,mag,map);
return “success”;
}

```java
//消费者
selectorType = SelectorType.SQL92,
selectorExpression = "age > 20"