参考谷粒商城项目
1、概述
-
- 大多应用中,可通过消息服务中间件来提升系统异步通信、扩展解耦能力
-
- 消息服务中两个重要概念:
消息代理(message broker) 和 目的地(destination)
当消息发送者发送消息以后,将由消息代理接管,消息代理保证消息传递到指定目的地。
- 消息服务中两个重要概念:
-
- 消息队列主要有两种形式的目的地
- 1. 队列(queue):点对点消息通信(point-to-point)
- 2. 主题(topic):发布(publish)/订阅(subscribe)消息通信
-
- 点对点式:
• 消息发送者发送消息,消息代理将其放入一个队列中,消息接收者从队列中获取消息内容,消息读取后被移出队列
• 消息只有唯一的发送者和接受者,但并不是说只能有一个接收者
- 点对点式:
-
- 发布订阅式:
• 发送者(发布者)发送消息到主题,多个接收者(订阅者)监听(订阅)这个主题,那么就会在消息到达时同时收到消息
- 发布订阅式:
-
- JMS(Java Message Service)JAVA消息服务:
• 基于JVM消息代理的规范。ActiveMQ、HornetMQ是JMS实现
- JMS(Java Message Service)JAVA消息服务:
-
- AMQP(Advanced Message Queuing Protocol)
• 高级消息队列协议,也是一个消息代理的规范,兼容JMS
• RabbitMQ是AMQP的实现
- AMQP(Advanced Message Queuing Protocol)
-
- Spring支持
• spring-jms提供了对JMS的支持
• spring-rabbit提供了对AMQP的支持
• 需要ConnectionFactory的实现来连接消息代理
• 提供JmsTemplate、RabbitTemplate来发送消息
• @JmsListener(JMS)、@RabbitListener(AMQP)注解在方法上监听消息代理发布的消息
• @EnableJms、@EnableRabbit开启支持
- Spring支持
-
- Spring Boot自动配置
• JmsAutoConfiguration
• RabbitAutoConfiguration
- Spring Boot自动配置
- 10、市面的MQ产品
• ActiveMQ、RabbitMQ、RocketMQ、Kafka
2、RabbitMQ简介
RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。
2.1、核心概念
- Message
消息,消息是不具名的,它由消息头和消息体组成。消息体是不透明的,而消息头则由一系列的可选属性组成,这些属性包括routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出该消息可能需要持久性存储)等。 - Publisher
消息的生产者,也是一个向交换器发布消息的客户端应用程序。 - Exchange
交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。Exchange有4种类型:direct(默认),fanout, topic, 和headers,不同类型的Exchange转发消息的策略有所区别 - Queue
消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。 - Binding
绑定,用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。
Exchange 和Queue的绑定可以是多对多的关系。 - Connection
网络连接,比如一个TCP连接。 - Channel
信道,多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接,AMQP命令都是通过信道发出去的,不管是发布消息、订阅队列还是接收消息,这些动作都是通过信道完成。因为对于操作系统来说建立和销毁TCP都是非常昂贵的开销,所以引入了信道的概念,以复用一条 TCP 连接。 - Consumer
消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。 - Virtual Host
虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的RabbitMQ服务器,拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础,必须在连接时指定,RabbitMQ 默认的 vhost 是 / 。 - Broker
表示消息队列服务器实体
3、Docker安装RabbitMQ
docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369-p25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management
端口解释:
- 4369, 25672 (Erlang发现&集群端口)
- 5672, 5671 (AMQP端口)
- 15672 (web管理后台端口)
- 61613, 61614 (STOMP协议端口)
- 1883, 8883 (MQTT协议端口)
端口详情解释
4、RabbitMQ运行机制
AMQP 中的消息路由
- AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别,AMQP 中增加了Exchange 和Binding 的角色。生产者把消息发布到 Exchange 上,消息最终到达队列并被消费者接收,而 Binding 决定交换器的消息应该发送到那个队列。
4.1、Exchange 类型
Exchange分发消息时根据类型的不同分发策略有区别,目前共四种类型:direct、fanout、topic、headers 。headers 匹配 AMQP 消息的header 而不是路由键,headers 交换器和 direct 交换器完全一致,但性能差很多,目前几乎用不到了,所以直接看另外三种类型:
- 1、Direct Exchange
消息中的路由键(routingkey)如果和Binding 中的binding key一致,交换器就将消息发到对应的队列中。路由键与队列名完全匹配,如果一个队列绑定到交换机要求路由键为“dog”,则只转发routingkey 标记为“dog”的消息,不会转发“dog.puppy”,也不会转发“dog.guard”等等。它是完全匹配、单播的模式。
- 2、Fanout Exchange
每个发到fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout交换器不处理路由键,只是简单的将队列绑定到交换器上,每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播,每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。
- 3、Topic Exchange
topic 交换器通过模式匹配分配消息的路由键属性,将路由键和某个模式进行匹配,此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词,这些单词之间用点隔开。它同样也会识别两个通配符:符号“#”和符号“*”。#匹配0个或多个单词,*匹配一个单词。
5、RabbitMQ整合
- 1、引入 spring-boot-starter-amqp
<!--引入rabbitMq amqp协议-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
- 2、application.yml配置
spring:
rabbitmq:
host: 192.168.200.139
virtual-host: /
port: 5672
# 开启消息发布确认
publisher-confirms: true
# 开启消息发送抵达队列确认
publisher-returns: true
# 只要抵达队列,以异步发送优先回调return回调
template:
mandatory: true
# 手动ack确认消息
listener:
simple:
acknowledge-mode: manual
-
- 测试RabbitMQ
-
- AmqpAdmin:管理组件
-
- RabbitTemplate:消息发送处理组件
-
- @RabbitListener 监听消息的方法可以有三种参数(不分数量,顺序)
Object content, Message message, Channel channel
- @RabbitListener 监听消息的方法可以有三种参数(不分数量,顺序)
@SpringBootTest
@RunWith(SpringRunner.class)
@Slf4j
public class GulimallOrderApplicationTests {
@Autowired
AmqpAdmin amqpAdmin;
@Autowired
RabbitTemplate rabbitTemplate;
/**
* 1、如何创建Exchange【hello-java-exchange】、Queue、Binding
* 1)、使用AmqpAdmin进行创建
* 2、如何收发消息
*/
@Test
public void createExchange() {
// amqpAdmin 创建交换机
/**
* String name, boolean durable, boolean autoDelete, Map<String, Object> arguments
*/
DirectExchange directExchange = new DirectExchange("hello-java-exchange", true, false, null);
amqpAdmin.declareExchange(directExchange);
log.info("Exchange[{}]创建成功","hello-java-exchange");
}
/**
* amqpAdmin 创建队列
*/
@Test
public void createQueue() {
// amqpAdmin 创建队列
/**
* String name, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> arguments
*/
Queue queue = new Queue("hello-java-queue", true, false, false, null);
amqpAdmin.declareQueue(queue);
log.info("Queue[{}]创建成功","hello-java-queue");
}
/**
* amqpAdmin 创建绑定关系
*/
@Test
public void createBinding() {
// amqpAdmin 创建绑定关系
/**
* String destination:目的地
* DestinationType destinationType:目的地类型
* String exchange :交换机
* String routingKey:路由键
* Map<String, Object> arguments:自定义参数
*
* 将exchange指定的交换机和destination指定的目的地进行绑定,使用routingKey作为路由键
*/
Binding binding = new Binding("hello-java-queue", Binding.DestinationType.QUEUE,
"hello-java-exchange", "hello.java", null);
amqpAdmin.declareBinding(binding);
log.info("Binding[{}]创建成功","hello-java-binding");
}
/**
* 发送消息
*/
@Test
public void sendMessageTest() {
// 1、发送消息 如果发送的消息是一个对象,我们会使用序列化机制将对象写出去,要求对象必须实现序列化接口Serializable
String msg = "我是秦健呀";
// 2、发送的对象类型的消息可以是一个json 需要在config中配置Jackson2JsonMessageConverter
// rabbitTemplate.convertAndSend("hello-java-exchange","hello.java",msg);
for (int i = 0; i < 10; i++) {
if (i % 2 == 0) {
OrderReturnReasonEntity orderReturnReasonEntity = new OrderReturnReasonEntity();
orderReturnReasonEntity.setId(1L);
orderReturnReasonEntity.setStatus(5);
orderReturnReasonEntity.setCreateTime(new Date());
orderReturnReasonEntity.setSort(3);
orderReturnReasonEntity.setName("哈哈哈" + i);
rabbitTemplate.convertAndSend("hello-java-exchange","hello.java",orderReturnReasonEntity);
}else{
OrderEntity orderEntity = new OrderEntity();
orderEntity.setId(4L);
orderEntity.setCreateTime(new Date());
orderEntity.setOrderSn("123456");
rabbitTemplate.convertAndSend("hello-java-exchange","hello.java",orderEntity);
}
log.info("消息发送完成:{}");
}
// rabbitTemplate.convertAndSend("hello-java-exchange","hello.java",orderReturnReasonEntity);
// log.info("消息发送完成:{}",msg);
}
}
@Service("orderItemService")
@RabbitListener(queues = {"hello-java-queue"})
public class OrderItemServiceImpl extends ServiceImpl<OrderItemDao, OrderItemEntity> implements OrderItemService {
@Override
public PageUtils queryPage(Map<String, Object> params) {
IPage<OrderItemEntity> page = this.page(
new Query<OrderItemEntity>().getPage(params),
new QueryWrapper<OrderItemEntity>()
);
return new PageUtils(page);
}
/**
* 测试rabbitMq监听消息 @RabbitListener
* queues:声明需要监听的所有队列
*
* 参数可以写以下内容:
* 1、原生消息详细信息:org.springframework.amqp.core.Message。 头+体
* 2、T<发送的消息的类型> 如消息实体类:OrderReturnReasonEntity
* 3、com.rabbitmq.client.Channel:当前传输数据的通道
*
* Queue:可以有很多人都来监听。只要收到消息,队列就删除消息,而且只能有一个收到此消息
* 场景:
* 1、订单服务启动多个:同一个消息,只能有一个客户端收到
* 2、只有一个消息完全处理完,方法运行结束,才能接收到下一个消息
*/
// @RabbitListener(queues = {"hello-java-queue"})
@RabbitHandler
public void recieveMessage(Message msg, OrderReturnReasonEntity entity, Channel channel) throws InterruptedException {
// {"id":1,"name":"哈哈哈","sort":3,"status":5,"createTime":1677999737950}
byte[] body = msg.getBody();
// 消息头属性信息
MessageProperties messageProperties = msg.getMessageProperties();
System.out.println("接收到消息。。。。。===>内容1:" + entity);
// Thread.sleep(3000);
System.out.println("消息处理完成!"+entity.getName());
// channel内按顺序自增的
long deliveryTag = messageProperties.getDeliveryTag();
System.out.println("deliveryTag:" + deliveryTag);
try {
if (deliveryTag % 2 == 0) {
// 签收确认 multiple:是否批量签收确认 false:非批量签收
channel.basicAck(deliveryTag, false);
System.out.println("签收了货物。。。。" + deliveryTag);
}else{
/**
* 拒收
* long deliveryTag: 消息标识
* boolean multiple: 是否批量签收 true: 批量签收 false:非批量签收
* boolean requeue: true:发回服务器,服务器重新入队 false:丢弃
*/
channel.basicNack(deliveryTag, false, false);
System.out.println("没有签收了货物。。。。" + deliveryTag);
}
} catch (IOException e) {
// 网络中断
throw new RuntimeException(e);
}
}
@RabbitHandler
public void recieveMessage(Message msg, OrderEntity entity, Channel channel) throws InterruptedException {
// {"id":1,"name":"哈哈哈","sort":3,"status":5,"createTime":1677999737950}
byte[] body = msg.getBody();
// 消息头属性信息
MessageProperties messageProperties = msg.getMessageProperties();
System.out.println("接收到消息。。。。。===>内容2:" + entity);
// Thread.sleep(3000);
}
}
6、RabbitMQ消息确认机制-可靠抵达
- 保证消息不丢失,可靠抵达,可以使用事务消息,性能下降250倍,为此引入确认机制
- publisher confirmCallback 确认模式
- publisher returnCallback 未投递到 queue 退回模式
- consumer ack机制
6.1、可靠抵达-ConfirmCallback
- yml配置文件中配置spring.rabbitmq.publisher-confirms=true
- 在创建 connectionFactory 的时候设置 PublisherConfirms(true) 选项,开启confirmcallback 。
- CorrelationData:用来表示当前消息唯一性。
- 消息只要被 broker 接收到就会执行 confirmCallback,如果是cluster 模式,需要所有broker 接收到才会调用 confirmCallback。
- 被 broker 接收到只能表示 message 已经到达服务器,并不能保证消息一定会被投递到目标 queue 里。所以需要用到接下来的 returnCallback 。
6.2、可靠抵达-ReturnCallback
- ym配置文件中配置
- spring.rabbitmq.publisher-returns=true
- spring.rabbitmq.template.mandatory=true
- confrim 模式只能保证消息到达 broker,不能保证消息准确投递到目标queue里。在有些业务场景下,我们需要保证消息一定要投递到目标queue 里,此时就需要用到return 退回模式。
- 这样如果未能投递到目标 queue 里将调用 returnCallback ,可以记录下详细的投递数据,定期的巡检或者自动纠错都需要这些数据。
完整配置类如下:
@Configuration
public class MyRabbitConfig {
@Autowired
RabbitTemplate rabbitTemplate;
/**
* 使用json序列化机制,进行消息转换
* @return
*/
@Bean
public MessageConverter messageConverter(){
return new Jackson2JsonMessageConverter();
}
/**
* 定制RabbitTemplate
* 1、服务收到消息就回调
* 1、yml中配置: spring.rabbitmq.publisher-confirms: true
* 2、config中设置 RabbitTemplate.ConfirmCallback回调
* 2、消息正确抵达队列进行回调
* 1、yml中配置: spring.rabbitmq.publisher-returns: true
* spring.rabbitmq.template.mandatory: true
* 2、config中设置 RabbitTemplate.ConfirmCallback回调
* 3、消费端确认(保证每个消息被正确消费,此时才可以让broker删除这个消息)
* 手动签收配置:spring.rabbitmq.listener.simple.acknowledge-mode: manual
* 1、默认是自动确认的,只要消息被接收到,客户端会自动确认,服务端就会移除这个消息
* 问题:
* 我们收到很多消息,自动回复给服务器ack,服务器突然挂掉,只有一个消息处理成功,其他消息发生丢失
* 需要手动确认。只要我们没有明确告诉mq,货物被签收,没有ack,消息就一直是unacked状态,
* 即使Consumer宕机,消息也不会丢失,会重新变为Ready,下一次有新的Consumer连接进来就发给他
* 2、如何签收:
* channel.basicAck(deliveryTag, false); 签收。业务成功完成就应该签收
* channel.basicNack(deliveryTag, false, false); 拒签。业务失败,拒签
*/
@PostConstruct // 表示此类对象创建完成以后,执行这个方法
public void initRabbitTemplate(){
// 设置发布消息确认回调
rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
/**
*
* @param correlationData 当前消息的唯一关联数据
* @param ack true 发送成功, false 发送失败
* @param cause 发送失败原因
*/
@Override
public void confirm(CorrelationData correlationData, boolean ack, String cause) {
System.out.println("confirm....correlationData【" + correlationData + "】====》ack【" + ack + "】======》cause【" + cause + "】");
}
});
// 设置发布消息确认抵达回调
rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {
/**
* 只要消息没有投递给指定的队列,就触发这个失败回调
* @param message 投递失败的消息详细信息
* @param replyCode 回复的状态码
* @param replyText 回复的文本内容
* @param exchange 这个消息发给哪个交换机
* @param routingKey 当时这个消息用的那个路由键
*/
@Override
public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
System.out.println("returnedMessage....message【" + message + "】====》replyCode【" + replyCode + "】" +
"======》replyText【" + replyText + "】====》exchange【" + exchange + "】====》routingKey【" + routingKey + "】");
}
});
}
}
6.3、可靠抵达-Ack消息确认机制
- 消费者获取到消息,成功处理,可以回复Ack给Broker
- basic.ack用于肯定确认;broker将移除此消息
- basic.nack用于否定确认;可以指定broker是否丢弃此消息,可以批量
- basic.reject用于否定确认;同上,但不能批量
- 默认自动ack,消息被消费者收到,就会从broker的queue中移除
- queue无消费者,消息依然会被存储,直到消费者消费
- 消费者收到消息,默认会自动ack。但是如果无法确定此消息是否被处理完成,或者成功处理。我们可以开启手动ack模式
- 消息处理成功,ack(),接受下一个消息,此消息broker就会移除
- 消息处理失败,nack()/reject(),重新发送给其他人进行处理,或者容错处理后ack
- 消息一直没有调用ack/nack方法,broker认为此消息正在被处理,不会投递给别人,此时客户端断开,消息不会被broker移除,会投递给别人
@RabbitListener(queues = {"hello-java-queue"})
@RabbitHandler
public void recieveMessage(Message msg, OrderReturnReasonEntity entity, Channel channel) throws InterruptedException {
// {"id":1,"name":"哈哈哈","sort":3,"status":5,"createTime":1677999737950}
byte[] body = msg.getBody();
// 消息头属性信息
MessageProperties messageProperties = msg.getMessageProperties();
System.out.println("接收到消息。。。。。===>内容1:" + entity);
// Thread.sleep(3000);
System.out.println("消息处理完成!"+entity.getName());
// channel内按顺序自增的
long deliveryTag = messageProperties.getDeliveryTag();
System.out.println("deliveryTag:" + deliveryTag);
try {
if (deliveryTag % 2 == 0) {
// 签收确认 multiple:是否批量签收确认 false:非批量签收
channel.basicAck(deliveryTag, false);
System.out.println("签收了货物。。。。" + deliveryTag);
}else{
/**
* 拒收
* long deliveryTag: 消息标识
* boolean multiple: 是否批量签收 true: 批量签收 false:非批量签收
* boolean requeue: true:发回服务器,服务器重新入队 false:丢弃
*/
channel.basicNack(deliveryTag, false, false);
System.out.println("没有签收了货物。。。。" + deliveryTag);
}
} catch (IOException e) {
// 网络中断
throw new RuntimeException(e);
}
}
7、RabbitMQ延时队列(实现定时任务)
场景:
比如未付款订单,超过一定时间后,系统自动取消订单并释放占有物品。
常用解决方案:
spring的 schedule 定时任务轮询数据库
缺点:
消耗系统内存、增加了数据库的压力、存在较大的时间误差
解决:
rabbitmq的消息TTL和死信Exchange结合
7.1、消息的TTL(Time To Live)
- 消息的TTL就是消息的存活时间。
- RabbitMQ可以对队列和消息分别设置TTL。
- 对队列设置就是队列没有消费者连着的保留时间,也可以对每一个单独的消息做单独的设置。超过了这个时间,我们认为这个消息就死了,称之为死信。
- 如果队列设置了,消息也设置了,那么会取小的。所以一个消息如果被路由到不同的队列中,这个消息死亡的时间有可能不一样(不同的队列设置)。这里单讲单个消息的TTL,因为它才是实现延迟任务的关键。可以通过设置消息的expiration字段或者x- message-ttl属性来设置时间,两者是一样的效果。
7.2、死信交换机Dead Letter Exchanges(DLX)
- 一个消息在满足如下条件下,会进死信路由,记住这里是路由而不是队列,一个路由可以对应很多队列。(什么是死信)
- 一个消息被Consumer拒收了,并且reject方法的参数里requeue是false。也就是说不会被再次放在队列里,被其他消费者使用。(basic.reject/ basic.nack)requeue=false
- 上面的消息的TTL到了,消息过期了。
- 队列的长度限制满了。排在前面的消息会被丢弃或者扔到死信路由上
- Dead Letter Exchange其实就是一种普通的exchange,和创建其他exchange没有两样。只是在某一个设置Dead Letter Exchange的队列中有消息过期了,会自动触发消息的转发,发送到Dead Letter Exchange中去。
- 我们既可以控制消息在一段时间后变成死信,又可以控制变成死信的消息被路由到某一个指定的交换机,结合二者,其实就可以实现一个延时队列
- 手动ack&异常消息统一放在一个队列处理建议的两种方式
- catch异常后,手动发送到指定队列,然后使用channel给rabbitmq确认消息已消费
- 给Queue绑定死信队列,使用nack(requque为false)确认消息消费失败
延时队列实现-1
延时队列实现-2
7.3、SpringBoot中使用延时队列
- 1、Queue、Exchange、Binding可以@Bean进去
- 2、监听消息的方法可以有三种参数(不分数量,顺序)
- Object content, Message message, Channel channel
- 3、channel可以用来拒绝消息,否则自动ack;
配置发布确认、消息回退,创建交换机、队列和绑定关系
package com.qinjian.gulimall.order.config;
import com.qinjian.common.constant.RabbitMqConstant;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.amqp.support.converter.Jackson2JsonMessageConverter;
import org.springframework.amqp.support.converter.MessageConverter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import javax.annotation.PostConstruct;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;
@Configuration
public class MyRabbitConfig {
@Autowired
RabbitTemplate rabbitTemplate;
/**
* 使用json序列化机制,进行消息转换
* @return
*/
@Bean
public MessageConverter messageConverter(){
return new Jackson2JsonMessageConverter();
}
/**
* 定制RabbitTemplate
* 1、服务收到消息就回调
* 1、yml中配置: spring.rabbitmq.publisher-confirms: true
* 2、config中设置 RabbitTemplate.ConfirmCallback回调
* 2、消息正确抵达队列进行回调
* 1、yml中配置: spring.rabbitmq.publisher-returns: true
* spring.rabbitmq.template.mandatory: true
* 2、config中设置 RabbitTemplate.ConfirmCallback回调
* 3、消费端确认(保证每个消息被正确消费,此时才可以让broker删除这个消息)
* 手动签收配置:spring.rabbitmq.listener.simple.acknowledge-mode: manual
* 1、默认是自动确认的,只要消息被接收到,客户端会自动确认,服务端就会移除这个消息
* 问题:
* 我们收到很多消息,自动回复给服务器ack,服务器突然挂掉,只有一个消息处理成功,其他消息发生丢失
* 需要手动确认。只要我们没有明确告诉mq,货物被签收,没有ack,消息就一直是unacked状态,
* 即使Consumer宕机,消息也不会丢失,会重新变为Ready,下一次有新的Consumer连接进来就发给他
* 2、如何签收:
* channel.basicAck(deliveryTag, false); 签收。业务成功完成就应该签收
* channel.basicNack(deliveryTag, false, false); 拒签。业务失败,拒签
*/
@PostConstruct // 表示此类对象创建完成以后,执行这个方法
public void initRabbitTemplate(){
// 设置发布消息确认回调
rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
/**
*
* @param correlationData 当前消息的唯一关联数据
* @param ack true 发送成功, false 发送失败
* @param cause 发送失败原因
*/
@Override
public void confirm(CorrelationData correlationData, boolean ack, String cause) {
/**
* 可靠消息:
* 1、做好消息确认(发送端发布消息确认、消费端手动ack消费确认)
* 2、每一个发送的消息都在数据库做好记录。定期将失败的消息再发送一次
*/
// 消息成功发送到服务器
System.out.println("confirm....correlationData【" + correlationData + "】====》ack【" + ack + "】======》cause【" + cause + "】");
}
});
// 设置发布消息确认抵达回调
rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {
/**
* 只要消息没有投递给指定的队列,就触发这个失败回调
* @param message 投递失败的消息详细信息
* @param replyCode 回复的状态码
* @param replyText 回复的文本内容
* @param exchange 这个消息发给哪个交换机
* @param routingKey 当时这个消息用的那个路由键
*/
@Override
public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
// 消息发送报错,消息没有被服务器发送给对应的队列,修改数据库中当前消息的状态
System.out.println("returnedMessage....message【" + message + "】====》replyCode【" + replyCode + "】" +
"======》replyText【" + replyText + "】====》exchange【" + exchange + "】====》routingKey【" + routingKey + "】");
}
});
}
// 创建交换机、队列、绑定关系
@Bean
public Exchange orderEventExchange(){
return new TopicExchange("order-event-exchange", true, false);
}
@Bean
public Queue orderReleaseOrderQueue(){
return new Queue("order.release.order.queue",true,false,false);
}
/**
* 创建死信队列
* @return
*/
@Bean
public Queue orderDelayQueue(){
/**
* x-dead-letter-exchange: order-event-exchange
* x-dead-letter-routing-key: order.release.order
* x-message-ttl: 60000
*/
Map<String, Object> arguments = new HashMap<>();
arguments.put(RabbitMqConstant.DEAD_LETTER_EXCHANGE, "order-event-exchange");
arguments.put(RabbitMqConstant.DEAD_LETTER_ROUTING_KEY, "order.release.order");
arguments.put(RabbitMqConstant.MESSAGE_TTL, TimeUnit.MINUTES.toMillis(1));
return new Queue("order.delay.queue",true,false,false,arguments);
}
@Bean
public Binding orderReleaseBinding(){
return new Binding("order.release.order.queue",
Binding.DestinationType.QUEUE,
"order-event-exchange",
"order.release.order",
null);
}
@Bean
public Binding orderCreateBinding(){
return new Binding("order.delay.queue",
Binding.DestinationType.QUEUE,
"order-event-exchange",
"order.create.order",
null);
}
/**
* 订单释放和库存释放直接绑定
* @return
*/
@Bean
public Binding orderReleaseOtherBinding(){
return new Binding("stock.release.stock.queue",
Binding.DestinationType.QUEUE,
"order-event-exchange",
"order.release.other.#",
null);
}
/**
* 由于rabbitmq的懒加载机制,在创建交换机和队列时,如果队列没有被监听,则不会自动创建,所以此处在配置好交换机和队列时监听一下队列,使其自动创建。
* @param message
*/
// @RabbitListener(queues = "order.release.order.queue")
// public void handle(Message message){
//
// }
}
监听类监听消息
package com.qinjian.gulimall.order.listener;
import com.qinjian.gulimall.order.entity.OrderEntity;
import com.qinjian.gulimall.order.service.OrderService;
import com.rabbitmq.client.Channel;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitHandler;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import java.io.IOException;
@Service
@RabbitListener(queues = "order.release.order.queue")
public class OrderCloseListener {
@Autowired
OrderService orderService;
@RabbitHandler
public void listener(OrderEntity orderEntity, Message message, Channel channel) throws IOException {
System.out.println("收到过期的订单:准备关闭订单:" + orderEntity);
try {
orderService.closeOrder(orderEntity);
channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
} catch (Exception e) {
channel.basicReject(message.getMessageProperties().getDeliveryTag(), true);
}
}
}
7.4、如何保证消息可靠性-消息丢失
消息丢失
- 消息发送出去,由于网络问题没有抵达服务器
- 做好容错方法(try-catch),发送消息可能会网络失败,失败后要有重试机制,可记录到数据库,采用定期扫描重发的方式
- 做好日志记录,每个消息状态是否都被服务器收到都应该记录
- 做好定期重发,如果消息没有发送成功,定期去数据库扫描未成功的消息进行重发
@Override public void closeOrder(OrderEntity orderEntity) { // 查询当前这个订单的最新状态 OrderEntity byId = this.getById(orderEntity.getId()); if (byId.getStatus() == OrderStatusEnum.CREATE_NEW.getCode()) { // 关单 OrderEntity update = new OrderEntity(); update.setId(byId.getId()); update.setStatus(OrderStatusEnum.CANCLED.getCode()); this.updateById(update); // 关单成功,再发送一个消息给rabbitmq通知解锁库存 OrderTo orderTo = new OrderTo(); BeanUtils.copyProperties(byId, orderTo); // todo 保证这个消息一定会发出去,每一个消息都可以做好记录。(给数据库保存每一个消息的详细信息) // todo 定期扫描数据库,将失败的消息再发送一遍 try { rabbitTemplate.convertAndSend("order-event-exchange", "order.release.other", orderTo); } catch (Exception e) { // todo 将没发送成功的消息进行重试发送 } } }
- 消息抵达Broker,Broker要将消息写入磁盘(持久化)才算成功。此时Broker尚未持久化完成,宕机。
- publisher也必须加入确认回调机制,确认成功的消息,修改数据库消息状态。
- 自动ACK的状态下。消费者收到消息,但没来得及消息然后宕机
- 一定开启手动ACK,消费成功才移除,失败或者没来得及处理就noAck并重新入队
数据库消息记录表:
- 一定开启手动ACK,消费成功才移除,失败或者没来得及处理就noAck并重新入队
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for mq_message
-- ----------------------------
DROP TABLE IF EXISTS `mq_message`;
CREATE TABLE `mq_message` (
`message_id` char(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '主键id',
`content` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT '消息内容 json格式',
`to_exchange` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '发送到的交换机',
`routing_key` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '发送的路由键',
`class_type` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '消息的类类型',
`message_status` int NULL DEFAULT NULL COMMENT '0-新建 1-已发送 2-错误抵达 3-已抵达',
`create_time` datetime NULL DEFAULT NULL COMMENT '创建时间',
`update_time` datetime NULL DEFAULT NULL COMMENT '更新时间',
PRIMARY KEY (`message_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = 'mq消息记录' ROW_FORMAT = Dynamic;
SET FOREIGN_KEY_CHECKS = 1;
7.5、如何保证消息可靠性-消息重复
消息重复
- 消息消费成功,事务已经提交,ack时,机器宕机。导致没有ack成功,Broker的消息重新由unack变为ready,并发送给其他消费者
- 消息消费失败,由于重试机制,自动又将消息发送出去
- 成功消费,ack时宕机,消息由unack变为ready,Broker又重新发送
- 消费者的业务消费接口应该设计为幂等性的。比如扣库存有工作单的状态标志
- 使用防重表(redis/mysql),发送消息每一个都有业务的唯一标识,处理过就不用处理
- rabbitMQ的每一个消息都有redelivered字段,可以获取是否是被重新投递过来的,而不是第一次投递过来的
7.6、如何保证消息可靠性-消息积压
消息积压
- 消费者宕机积压
- 消费者消费能力不足积压
- 发送者发送流量太大
- 上线更多的消费者,进行正常消费
- 上线专门的队列消费服务,将消息先批量取出来,记录数据库,离线慢慢处理