目录
消息的可靠传递
在使用RabbitMQ的时候,作为消息发送方希望杜绝任何消息丢失或者投递失败场景,RabbitMQ为我们提供了两种方式用来控制消息的投递可靠性模式
- confirm确认模式
- return退回模式
rabbitmq整个消息投递的路径为:
producer-->rabbitmq broker-->exchange-->queue-->consumer
1.消息从producer到exchange则会返回一个confirmCallback
代码参考
/**
* 确认模式:
* 步骤:spring
* 1. 确认模式开启:ConnectionFactory中开启publisher-confirms="true"
* 2. 在rabbitTemplate定义ConfirmCallBack回调函数
* springboot:
* 1.在yml中配置 #开启确认模式 publisher-confirm-type: correlated
*/
@Test
public void testConfirm() {
//2. 定义回调
rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
/**
*
* @param correlationData 相关配置信息
* @param ack exchange交换机 是否成功收到了消息。true 成功,false代表失败
* @param cause 失败原因
*/
@Override
public void confirm(CorrelationData correlationData, boolean ack, String cause) {
System.out.println("confirm方法被执行了....");
if (ack) {
//接收成功
System.out.println("接收成功消息" + cause);
} else {
//接收失败
System.out.println("接收失败消息" + cause);
//做一些处理,让消息再次发送。
}
}
});
//3. 发送消息
rabbitTemplate.convertAndSend(EXCHANGE_NAME, "confirm", "message confirm....");
}
2.消息从exchange-->queue投递失败则会返回一个returnCallback、
/**
* 回退模式: 当消息发送给Exchange后,Exchange路由到Queue失败是 才会执行 ReturnCallBack
* 步骤:spring
* 1. 开启回退模式:publisher-returns="true"
* 2. 设置ReturnCallBack
* 3. 设置Exchange处理消息的模式:
* 1. 如果消息没有路由到Queue,则丢弃消息(默认)
* 2. 如果消息没有路由到Queue,返回给消息发送方ReturnCallBack
* springboot:yml中开启确认模式: publisher-returns: true
*/
@Test
public void testReturn() {
//设置交换机处理失败消息的模式
rabbitTemplate.setMandatory(true);
//2.设置ReturnCallBack
rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {
/**
*
* @param message 消息对象
* @param replyCode 错误码
* @param replyText 错误信息
* @param exchange 交换机
* @param routingKey 路由键
*/
@Override
public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
System.out.println("return 执行了....");
System.out.println(message);
System.out.println(replyCode);
System.out.println(replyText);
System.out.println(exchange);
System.out.println(routingKey);
//处理
}
});
//3. 发送消息
rabbitTemplate.convertAndSend(EXCHANGE_NAME, "confirm", "message confirm....");
}
yml整体配置
spring:
rabbitmq:
host: 192.168.5.129 #ip
port: 5672
username: guest
password: guest
virtual-host: /
#开启确认模式
publisher-confirm-type: correlated
publisher-returns: true
Consumer Ack
ack指Acknowledge,确认:表示消费端收到消息后的确认方式
三种确认方式
- 自动确认:acknowledge="none":当消息一旦被Consumer接收到,则自动确认收到,并将相应message从RabbitMQ的消息缓存中移除,但是如果业务处理出现异常,那么该消息就会丢失
- 手动确认:acknowledge="manual":在业务处理成功后,调用channel.basicAck(),收到签收,如果出现异常,则调用channel.basicNack()方法,让其自动重新发送消息
- 根据异常情况确认:acknowledge="auto"
Consumer方代码实现
@Component
public class ACKListener implements ChannelAwareMessageListener {
@RabbitListener(queues = "boot_queue")
@Override
public void onMessage(Message message, Channel channel) throws Exception {
Thread.sleep(1000);
long deliveryTag = message.getMessageProperties().getDeliveryTag();
try {
//1.接收转换消息
System.out.println(new String(message.getBody()));
//2.处理业务逻辑
System.out.println("处理业务逻辑");
// int i=3/0;异常部分
//3.手动签收
channel.basicAck(deliveryTag,true);
} catch (Exception e) {
// e.printStackTrace();
System.out.println("业务处理失败!");
//4.拒绝签收
/*
* b1:requeue:重回队列,如何设置为true,则消息重新回到队列,broker重新发送该消息到客户端
* */
channel.basicNack(deliveryTag,true,true);
}
}
}
yml配置
spring:
rabbitmq:
host: 192.168.5.129 #ip
port: 5672
username: guest
password: guest
virtual-host: /
listener:
simple:
#设置手动签收
acknowledge-mode: manual
总结
- 在yml中设置acknowledge属性,设置ack方式none:自动确认,manual:手动确认
- 如果在消费端没有出现异常,则调用channel.basicAck()方法确认签收消息
- 如果出现异常,则在catch中调用basic或basic Reject,拒绝消息,让mq重新发送消息
消费端限流
主要问题:在面对mq高请求的情况下,系统可能会宕机的风险
yml配置:
spring:
rabbitmq:
host: 192.168.5.129 #ip
port: 5672
username: guest
password: guest
virtual-host: /
listener:
simple:
acknowledge-mode: manual #设置手动签收,当手动签收之后,拉取新消息
prefetch: 1 #最大从队列中拉取得消息个数
代码设置手动签收即可:
@Component
public class QosListener implements ChannelAwareMessageListener {
@RabbitListener(queues = "boot_queue")
@Override
public void onMessage(Message message, Channel channel) throws Exception {
//1.获取消息
System.out.println(new String(message.getBody()));
//2.处理业务逻辑
//3.签收
channel.basicAck(message.getMessageProperties().getDeliveryTag(),true);
}
}
总结:
- 在yml中配置prefetch属性设置消费端一次拉去多少消息
- 消费端的确认模式一定为手动确认,acknowledge:manual
TTL
ttl全程Time To Live(存活时间/过期时间),当消息到达存活时间后,还没有被消费,会被自动清除
RabbitMQ可以对消息设置过期时间,也可以对整个队列设置过期时间
队列整体过期
//2.Queue队列
@Bean("ttlQueue")
public Queue ttlQueue(){
return QueueBuilder.durable(TTL_QUEUE_NAME).withArgument("x-message-ttl",10000).build();
}
消息单独过期
/**
* TTL:过期时间
* 消息单独过期
*
*
* 如果设置了消息的过期时间,也设置了队列的过期时间,它以时间短的为准。
* 队列过期后,会将队列所有消息全部移除。
* 消息过期后,只有消息在队列顶端,才会判断其是否过期(移除掉)
*
*/
@Test
public void testTtl() {
// 消息后处理对象,设置一些消息的参数信息
MessagePostProcessor messagePostProcessor = new MessagePostProcessor() {
@Override
public Message postProcessMessage(Message message) throws AmqpException {
//1.设置message的信息
message.getMessageProperties().setExpiration("5000");//消息的过期时间
//2.返回该消息
return message;
}
};
//消息单独过期
//rabbitTemplate.convertAndSend("test_exchange_ttl", "ttl.hehe", "message ttl....",messagePostProcessor);
for (int i = 0; i < 10; i++) {
if(i == 5){
//消息单独过期
rabbitTemplate.convertAndSend("test_exchange_ttl", "ttl.hehe", "message ttl....",messagePostProcessor);
}else{
//不过期的消息
rabbitTemplate.convertAndSend("test_exchange_ttl", "ttl.hehe", "message ttl....");
}
}
}
总结:
- 设置消息队列过期使用参数:x-message-ttl,单位ms,会对整个消息队列统一过期
- 设置消息过期时间使用参数,expiration.单位ms,当该消息在队列头部时(消费者消费的时候),会单独判断这一消息是否过期
- 如果两者都进行了设置,以时间短的为准
死信队列
当消息成为Dead message后,可以被重新发送到另一个交换机,这个交换机就是死信队列DLX
消息成为私信的三种情况:
- 队列长度到达限制
- 消费者拒接消费消息,basicNack/basicReject,并且不把消息重新放入原目标队列,requeue=false
- 原队列存在消息过期设置,消息到达超时时间未被消费
队列绑定死信交换机
给队列设置参数: x-dead-letter-exchange 和 x-dead-letter-routing-key
代码实现:
producer:
config文件:
/*死信队列*/
/*
* 1.1声明正常的队列test_queue和交换机test_exchange_dlx
* */
//1.交换机
@Bean("test_exchange_dlx")
public Exchange testExchangeDLX(){
//durable:是否持久化
return ExchangeBuilder.topicExchange(TEST_EXCHANGE_DLX_NAME).durable(true).build();
}
//2.Queue队列
@Bean("test_Queue_dlx")
public Queue testQueueDLX(){
/*
* x-dead-letter-exchange:绑定的死信交换机
* x-dead-letter-routing-key:死信交换机绑定的死信队列
* x-message-ttl:队列存活时间
* x-max-length:队列最大长度
*
* */
return QueueBuilder.durable(TEST_QUEUE_DLX_NAME).withArgument("x-dead-letter-exchange","exchange_dlx").withArgument("x-dead-letter-routing-key","dlx.#").withArgument("x-message-ttl",10000).withArgument("x-max-length",10).build();
}
@Bean
public Binding bindTestDLXQueueExchange(@Qualifier("test_Queue_dlx")Queue queue,@Qualifier("test_exchange_dlx") Exchange exchange){
return BindingBuilder.bind(queue).to(exchange).with("test.dlx.#").noargs();
}
/*
* 1.2声明死信队列
*
* */
@Bean("exchange_dlx")
public Exchange ExchangeDLX(){
//durable:是否持久化
return ExchangeBuilder.topicExchange(EXCHANGE_DLX_NAME).durable(true).build();
}
//2.Queue队列
@Bean("Queue_dlx")
public Queue QueueDLX(){
return QueueBuilder.durable(QUEUE_DLX_NAME).build();
}
@Bean
public Binding bindDLXQueueExchange(@Qualifier("Queue_dlx")Queue queue,@Qualifier("exchange_dlx") Exchange exchange){
return BindingBuilder.bind(queue).to(exchange).with("dlx.#").noargs();
}
Test测试类
@Test
public void testDLX(){
//测试过期时间
rabbitTemplate.convertAndSend(TEST_EXCHANGE_DLX_NAME,"test.dlx.haha","我是一条消息,我会死吗!!!");
// 测试长度限制,消息私信
for(int i=0;i<20;i++){
rabbitTemplate.convertAndSend(TEST_EXCHANGE_DLX_NAME,"test.dlx.haha","我是一条消息,我会死吗!!!");
}
//测试消息拒收
rabbitTemplate.convertAndSend(TEST_EXCHANGE_DLX_NAME,"test.dlx.haha","我是一条消息,我会死吗!!!");
}
Consumer: 仅仅用来测试最后的消息拒收
@Component
public class DLXListener implements ChannelAwareMessageListener {
@RabbitListener(queues = "test_queue_dlx")
@Override
public void onMessage(Message message, Channel channel) throws Exception {
long deliveryTag = message.getMessageProperties().getDeliveryTag();
try {
//1.接收转换消息
System.out.println(new String(message.getBody()));
//2.处理业务逻辑
System.out.println("处理业务逻辑");
//出现异常,让信息跑到死信队列
int i=3/0;
//3.手动签收
channel.basicAck(deliveryTag,true);
} catch (Exception e) {
// e.printStackTrace();
System.out.println("出现异常,拒绝接收!");
//4.拒绝签收
/*
* b1:requeue:重回队列,如何设置为true,则消息重新回到队列,broker重新发送该消息到客户端,这里设置为false,不让回原队列,去死信交换机
* */
channel.basicNack(deliveryTag,true,false);
}
}
}
总结:
- 死信交换和死信交换机和普通的没有区别
- 当消息成为死信后,如果该队列绑定了私信交换机,则消息会被私信交换机重新路由到死信队列
- 消息成为死信的三种情况:
-
- 队列消息长度到达限制
- 消费者拒接消费信息,并且不重回队列
- 原队列存在消息过期设置,消息到达时间未被消费
延迟队列
即消息进入队列后不会立即被消费,只有到达指定时间后,才会被消费
业务场景:
- 下单后,30分钟未支付,取消订单,回滚库存
- 新用户注册7天后,发送短信问候
代码实现:TTL+DLX
/*
* 延迟队列
* */
/*1.1正常队列*/
//1.Exchange交换机
@Bean("order_exchange")
public Exchange orderExchange(){
//durable:是否持久化
return ExchangeBuilder.topicExchange(ORDER_EXCHANGE_NAME).durable(true).build();
}
//2.Queue队列
@Bean("order_queue")
public Queue orderQueue(){
//设置ttl和DLx 这里如果代码创建队列的话 ttl的类型会默认为String 因此报错
return QueueBuilder.durable(ORDER_QUEUE_NAME).withArgument("x-message-ttl",10000).withArgument("x-dead-letter-exchange","order_exchange_dlx").withArgument("x-dead-letter-routing-key","dlx.order.cancel").build();
}
@Bean
public Binding bindOrderQueueExchange(@Qualifier("order_queue")Queue queue,@Qualifier("order_exchange") Exchange exchange){
return BindingBuilder.bind(queue).to(exchange).with("order.#").noargs();
}
/*1.2死信队列*/
@Bean("order_exchange_dlx")
public Exchange orderDLXExchange(){
//durable:是否持久化
return ExchangeBuilder.topicExchange(ORDER_EXCHANGE_DLX_NAME).durable(true).build();
}
//2.Queue队列
@Bean("order_queue_dlx")
public Queue orderDLXQueue(){
return QueueBuilder.durable(ORDER_QUEUE_DLX_NAME).build();
}
@Bean
public Binding bindOrderDLXQueueExchange(@Qualifier("order_queue_dlx")Queue queue,@Qualifier("order_exchange_dlx") Exchange exchange){
return BindingBuilder.bind(queue).to(exchange).with("dlx.order.#").noargs();
}
总结:
- 延迟队列 指消息进入队列后,可以被延迟一定时间,再进行消费
- RabbitMQ没有提供延迟队列功能,但是可以使用:TTL+DLX来实现延迟队列效果
应用问题
消息补偿
消息补偿机制
幂等性保障
幂等性指一次和多次请求某一个资源,对于资源本身应该具有相同的结果,也就是说,其任意多次执行对资源本身所产生的影响与一次执行的影响相同
在MQ中,消费多条相同的消息,得到于消费该消息一次相同的结果
乐观锁机制:保证出现错误后,导致某些sql语句不会执行n次