【RabbitMQ Confirm和returns保证生产者消息可靠性】

最新推荐文章于 2023-08-04 16:12:59 发布
最新推荐文章于 2023-08-04 16:12:59 发布
阅读量497 收藏 2
点赞数 3
分类专栏： java spring boot 文章标签： rabbitmq java spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44368487/article/details/124901165
版权

RabbitMQ Confirm和returns保证生产者消息可靠性

RabbitMQ生产者消息可靠性

网上太多文章只说 confirm可以保证消息可靠性，经过代码实际测试压根就不靠谱。本文讲述一个更加严谨可靠的消息生产者。如果还有问题希望大家能够在评论区指出。

实验环境

软件环境和版本

  • RabbitMQ 3.9.17
  • Spring boot 2.6.5

spring boot yml 配置

spring: 
  rabbitmq:
    host: 192.168.245.131
    username: admin
    password: admin
    port: 5672
    virtual-host: /
    listener:
      simple:
        acknowledge-mode: manual # 手动ACK
    publisher-confirm-type: correlated # 开启Confirm回调
    publisher-returns: true # 开启returns回调

RabbitMQ控制台

队列为空。
在这里插入图片描述

创建交换机和队列并绑定

import org.springframework.amqp.core.*;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class RabbitMQConfig {
    public static final String EXCHANGE = "agreementExchange";
    public static final String QUEUE = "agreementQueue";
    public static final String ROUTING_KEY = "*.rabbit.*";

    @Bean
    public Exchange agreementExchange(){
        return ExchangeBuilder.topicExchange(EXCHANGE).build();
    }

    @Bean
    public Queue agreementQueue(){
        return QueueBuilder.durable(QUEUE).build();
    }

    @Bean
    public Binding agreementBinding(Exchange agreementExchange,Queue agreementQueue){
        return BindingBuilder.bind(agreementQueue).to(agreementExchange).with(ROUTING_KEY).noargs();
    }
}

最基本的生产者代码

import com.stages.payment.start.config.mq.RabbitMQConfig;
import org.junit.jupiter.api.Test;
import org.springframework.amqp.AmqpException;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.io.IOException;

@SpringBootTest
class StagesPaymentStartApplicationTests {
    @Autowired
    RabbitTemplate rabbitTemplate;

    @Test
    void contextLoads() throws IOException {
        rabbitTemplate.convertAndSend(RabbitMQConfig.EXCHANGE, "black.rabbit.male", "这里是消息", new MessagePostProcessor() {
            @Override
            public Message postProcessMessage(Message message) throws AmqpException {
                MessageProperties messageProperties = message.getMessageProperties();
                return message;
            }
        });
        System.out.println(Thread.currentThread().getName()+"程序没有中断");
    }

}

消息生产者流程梳理

消息发送流程图

  1. 发送message到Exchange交换机
  2. 交换机通过路由发送message给Queue
  3. Queue根据消息属性决定存放在磁盘还是内存

在这里插入图片描述

简单理解两种机制

上图我们将消息发送简单分为了三个步骤。confirm和returns可以简单理解为两个切面方法在不同的阶段进行回调。

confirm：

在第一步调用成功后触发，无论消息是否成功发送给交换机都会触发。

returns：

在第二步和第三步任何一步失败的情况下才会触发，正常情况不触发returns回调。

深入confirm机制

confirm不能保证消息的完全可靠，他只能保证消息到达交换机。只要到达交换机无论是否持久化成功或者到达队列都会返回成功。

confirm返回成功但消息丢失的情况模拟

confirm 只能保证消息成功到达交换机，那么当交换机正常，队列不存在的时候消息会丢失，而confirm返回了成功。

生产者代码：

import com.stages.payment.start.config.mq.RabbitMQConfig;
import org.junit.jupiter.api.Test;
import org.springframework.amqp.AmqpException;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.io.IOException;

@SpringBootTest
class StagesPaymentStartApplicationTests {
    @Autowired
    RabbitTemplate rabbitTemplate;

    @Test
    void contextLoads() throws IOException {
        // 成功或失败都会触发
        rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
            @Override
            public void confirm(CorrelationData correlationData, boolean ack, String cause) {
                System.out.println(Thread.currentThread().getName()+"消息发送交换机结果: "+ack);
            }
        });
        rabbitTemplate.convertAndSend(RabbitMQConfig.EXCHANGE, "black.rabbit1.male", "这里是消息4", new MessagePostProcessor() {
            @Override
            public Message postProcessMessage(Message message) throws AmqpException {
                MessageProperties messageProperties = message.getMessageProperties();
                messageProperties.setCorrelationId("123");
                messageProperties.setDeliveryMode(MessageDeliveryMode.PERSISTENT);
                return message;
            }
        });
        System.out.println(Thread.currentThread().getName()+"程序没有中断");
    }

}

运行结果：数据丢失且程序无报错。
在这里插入图片描述
在这里插入图片描述

confirm返回失败的情况模拟

消息无法发送到交换机时confirm返回失败。当交换机不存在时返回失败。

运行结果：confirm返回失败且数据丢失
在这里插入图片描述
在这里插入图片描述

结论

单凭confirm机制根本不能保证消息生产者的可靠性。

深入returns机制

returns不能保证消息的完全可靠，他能保证消息到达队列。只要到达队列无论是否持久化都会返回成功。并且，如果消息没有到达交换机那么returns将无法触发。

持久化失败returns触发情况模拟

生产者代码：

import com.stages.payment.start.config.mq.RabbitMQConfig;
import org.junit.jupiter.api.Test;
import org.springframework.amqp.AmqpException;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.io.IOException;

@SpringBootTest
class StagesPaymentStartApplicationTests {
    @Autowired
    RabbitTemplate rabbitTemplate;

    @Test
    void contextLoads() throws IOException {
        // 成功或失败都会触发
        rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
            @Override
            public void confirm(CorrelationData correlationData, boolean ack, String cause) {
                System.out.println(Thread.currentThread().getName()+"消息发送交换机结果: "+ack);
            }
        });
        // 发送到队列失败时才会触发
        rabbitTemplate.setReturnsCallback(new RabbitTemplate.ReturnsCallback() {
            @Override
            public void returnedMessage(ReturnedMessage returned) {
                System.out.println(Thread.currentThread().getName()+"消息发送队列结果: "+returned);
            }
        });
        rabbitTemplate.convertAndSend(RabbitMQConfig.EXCHANGE, "black.rabbit1.male", "这里是消息4", new MessagePostProcessor() {
            @Override
            public Message postProcessMessage(Message message) throws AmqpException {
                MessageProperties messageProperties = message.getMessageProperties();
                messageProperties.setCorrelationId("123");
                messageProperties.setDeliveryMode(MessageDeliveryMode.PERSISTENT);
                return message;
            }
        });
        System.out.println(Thread.currentThread().getName()+"程序没有中断");
    }

}

运行结果：数据丢失，returns触发
在这里插入图片描述
在这里插入图片描述

confirm返回成功returns不触发消息丢失模拟

生产者代码：

import com.stages.payment.start.config.mq.RabbitMQConfig;
import org.junit.jupiter.api.Test;
import org.springframework.amqp.AmqpException;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.io.IOException;

@SpringBootTest
class StagesPaymentStartApplicationTests {
    @Autowired
    RabbitTemplate rabbitTemplate;

    @Test
    void contextLoads() throws IOException {
        // 成功或失败都会触发
        rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
            @Override
            public void confirm(CorrelationData correlationData, boolean ack, String cause) {
                System.out.println(Thread.currentThread().getName()+"消息发送交换机结果: "+ack);
            }
        });
        // 发送到队列失败时才会触发
        rabbitTemplate.setReturnsCallback(new RabbitTemplate.ReturnsCallback() {
            @Override
            public void returnedMessage(ReturnedMessage returned) {
                System.out.println(Thread.currentThread().getName()+"消息发送队列结果: "+returned);
            }
        });
        rabbitTemplate.convertAndSend(RabbitMQConfig.EXCHANGE, "black.rabbit.male", "这里是消息4", new MessagePostProcessor() {
            @Override
            public Message postProcessMessage(Message message) throws AmqpException {
                MessageProperties messageProperties = message.getMessageProperties();
                messageProperties.setCorrelationId("123");
                messageProperties.setDeliveryMode(MessageDeliveryMode.NON_PERSISTENT);  // 这里设置非持久化
                return message;
            }
        });
        System.out.println(Thread.currentThread().getName()+"程序没有中断");
    }

}

运行结果：数据在内存中，rabbitmq宕机重启数据就丢失
在这里插入图片描述
在这里插入图片描述

结论

单独的returns也不可能保证消息的可靠性。

最后方案

使用 交换机持久化 + 队列持久化 + confirm + returns + 消息持久化 来保证消息的可靠性。

最终代码：

import com.stages.payment.start.config.mq.RabbitMQConfig;
import org.junit.jupiter.api.Test;
import org.springframework.amqp.AmqpException;
import org.springframework.amqp.core.*;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.io.IOException;

@SpringBootTest
class StagesPaymentStartApplicationTests {
    @Autowired
    RabbitTemplate rabbitTemplate;

    @Test
    void contextLoads() throws IOException {
        // message发送到交换机的回调补偿
        rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
            @Override
            public void confirm(CorrelationData correlationData, boolean ack, String cause) {
                System.out.println(Thread.currentThread().getName()+"消息发送交换机结果: "+ack);
            }
        });
        // message发送到队列失败的补偿
        rabbitTemplate.setReturnsCallback(new RabbitTemplate.ReturnsCallback() {
            @Override
            public void returnedMessage(ReturnedMessage returned) {
                System.out.println(Thread.currentThread().getName()+"消息发送队列结果: "+returned);
            }
        });
        rabbitTemplate.convertAndSend(RabbitMQConfig.EXCHANGE, "black.rabbit.male", "这里是消息4", new MessagePostProcessor() {
            @Override
            public Message postProcessMessage(Message message) throws AmqpException {
                MessageProperties messageProperties = message.getMessageProperties();
                // 设置消息的持久化属性 默认为持久化的。
                messageProperties.setDeliveryMode(MessageDeliveryMode.PERSISTENT);
                return message;
            }
        });
        System.out.println(Thread.currentThread().getName()+"程序没有中断");
    }

}

转载请注明出处！！！

盘古给你一斧
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RabbitMq
zzh18856960604的博客
03-15 261
RabbitMq 目标 生产方可靠消息投递 消费者确认ACK机制 消息重复消费解决 掌握延迟队列 了解限流 集群搭建 rabbitmq 是mq的具体产品。实现系统和系统之间的通信（异步） 耗时操作 系统异构 限流 发送消息的一方：生产者 接收消息的一方：消费者 虚拟机：存储消息的组件（为了区分不同的业务可以创建不同的虚拟机） 队列：存在于虚拟机的内部，是真正存储消息的组件queue 交换机：用于接收生产者发送过来的消息，根据不同的binding进行转达消息的组件，不做消息的存储 消息的模式：
RabbitMQ消息模式之Confirm确认消息
01-07
生产者进行接收应答，用来确定这条消息是否正常的发送到Broker，这种方式也是消息的可靠性投递的核心保障 消费端代码： package com.ue.confirm; import com.rabbitmq.client.Channel; import ...
Rabbitmq的消息可靠性投递returnCallback实战
zssz1026的专栏
04-25 282
日常记录-SpringBoot整合RabbitMQ第三节（生产者ConfirmCallback和ReturnCallback）
最新发布
会走的鱼
08-04 953
参考以下博主的文章我这里只会记录如何整合SpringBoot，安装和部署的具体详情可以看上面这位博主写的文章。
RabbitMQ（2）、MQ问题：消息可靠性、延迟消息（ 延迟队列（插件 ））、消息堆积（惰性队列）、MQ的高可用。ConfirmCallback机制、ReturnCallback机制、死信交换机
weixin_46589095的博客
05-22 1254
MQ问题： 消息可靠性(生产者确认机制[Confirm Callback机制、Return Callback机制]、MQ消息持久化、消费者确认机制、消费者失败重试)、死信交换机、延迟队列（插件 ）、惰性队列、MQ普通集群、MQ镜像集群：、仲裁队列、RabbitTemplate连接MQ集群。
RabbitMQ发送方确认机制
菜鸟逆袭之路
05-25 1864
RabbitMQ发送方确认机制
PHP基于rabbitmq操作类的生产者和消费者功能示例
10-18
主要介绍了PHP基于rabbitmq操作类的生产者和消费者功能,结合实例形式分析了基于rabbitmq操作类的生产者和消费者定义与使用方法,需要的朋友可以参考下
SpringBoot-RabbitMQ生产者和消费者.7z
07-14
它允许应用程序之间异步通信，通过将消息放入队列，解耦生产者和消费者，提高系统的可扩展性和可靠性。 **三种消息模式** 1. **Direct模式**：这是最基础的模式，生产者指定一个路由键，消费者绑定相同的路由键，...
RabbitMQ消费者和生产者简单实现
01-24
在Java应用中，我们可以使用RabbitMQ的Java客户端库来创建生产者和消费者，实现消息的发送与接收。 首先，让我们了解一下RabbitMQ中的基本概念： 1. **交换机（Exchange）**：交换机是RabbitMQ的核心，它负责接收...
springcloud_rabbitMQ_消息可靠性投递.rar
09-07
在分布式系统中，消息队列...通过上述方式，可以在SpringCloud项目中利用RabbitMQ实现高效且可靠的消息投递，提升系统的稳定性和容错性。通过`day47_rabbitMQ`的学习资料，你可以更深入地理解这些概念并进行实践操作。
Rabbitmq之ConfirmCallback与ReturnCallback使用
我还可以
06-18 6349
在工作中使用Rabbitmq传输数据时，可能会因为数据、网络等问题，导致数据发送或者接收失败；如果对此类问题没有做好处理，就会存在丢失数据的问题，为此，引入了与，来保证系统能够做到更好的数据监听、以及消费失败的数据做好相应的补偿；与也被称为Rabbitmq的消息确认机制；首先，下面为消息从生产者 ——> 消费者的流程图： 不过如果应用到生产环境中会出现两个问题：为了解决以上两个问题，系统引入了与：也就是说，前者是为了监听消息是否到达了，后者是为了监听消息是否到达了队列，如果这两个步骤遇到了问题，则生产者也好
RabbitMq从入门到精通-ConfirmCallback ReturnCallback 区别及使用
热门推荐
隔壁老瓦的专栏
04-29 2万+
默认情况下如果一个 Message 被消费者所正确接收则会被从 Queue 中移除 如果一个 Queue 没被任何消费者订阅，那么这个 Queue 中的消息会被 Cache（缓存），当有消费者订阅时则会立即发送，当 Message 被消费者正确接收时，就会被从 Queue 中移除 消息发送确认 发送的消息怎么样才算失败或成功？如何确认？ 当消息无法路由到队列时，确认消息路由失败。消...
RabbitMQ ReturnCallback没有执行
Darren的博客
02-26 3458
项目场景： 测试RabbitMQ 消息确认机制中的ReturnCallback。已经按照要求做了如下配置： application.yml中配置： spring: rabbitmq: host: 远程ip port: 5672 virtual-host: /xzk username: ****** password: ****** publisher-confirm-type: correlated publisher-returns: tr
RabbitMQ高级特性笔记总结
soberw的日常分享博客
06-06 1442
前文介绍了RabbitMQ的几种 工作模式 以及 在SpringBoot中的使用 。下面通过在SpringBoot项目中演示RabbitMQ的一些高级特性。在开始之前，先搭建一个SpringBoot项目 ，在项目中演示：配置文件如下所示： 消息的可靠传递 在使用 RabbitMQ 的时候，作为消息发送方希望杜绝任何消息丢失或者投递失败场景，即希望信息可靠的传递。RabbitMQ 为我们提供了两种方式用来控制消息的投递可靠性模式。confirm 确认模式return 退回模式rabbitmq 整个消息投递的
高级篇-rabbitmq的高级特性
黑冰[̲̅V̲̅I̲̅P̅]
12-20 1616
1.ReturnCallback:全局callback。2.ComfirmCallback: 发送信息时候设置。3.重启mq后看队列中数据是否还在(是否持久化)2.投递到交换机了，但是没有进入队列。1. 交互机、队列、消息都做持久化。2.消费者端关闭防止被消费。面试题：最后一分钟的总结。1.投递到交互机失败。
4. RabbitMQ消息传递的可靠性保证：ConfirmCallback、returnCallback、手动确认
cxrlover的博客
11-30 3305
如何保证消息的可靠性 消息的可靠性需要两个方面来保证： 1. 生产者 -> 队列 （可靠投递） 2. 队列 -> 消费者 （可靠消费） 为了防止断电，宕机等情况，可以将 交换机进行持久化，queue持久化，message持久化 目录如何保证消息的可靠性可靠投递生产者到交换机的可靠保证交换机到队列的保证机制保证消息到达消费者的可靠性使用手动确认模式保证消费可靠 可靠投递 生产者 -> 队列 需要经过两步： 1. 生产者 到 交换机 2. 交换机 到 队列 只要保证这两步的可靠传递就可以
RabbitMq 配置 消费者和 ReturnCallback 和 ConfirmCallback
qq_38085977的博客
08-25 1万+
在rabbitMq中 设置2种消息确认模式 1：自动确认 ：RabbitMq种默认的确认模式自动确认模式下，当 Broker(消息队列服务器实体)成功发送消息给消费者后就会立即把此消息从队列中删除，而不用 等待消费者回送确认消息。 2：手动确认。而在手动确认模式下，当 Broker(消息队列服务器实体)发送消息给消费者后并不会立即把 此消息删除， 而是要等收到消费者回送的确认消息后才会删除，因此当消费者收到消息已经会发送一个ACK命令指消息确认给发送者，如果消费者因为意外崩溃而没有 发送 ACK...
RabbitMQ的confirm机制
weixin_44399827的博客
08-01 5064
关于RabbitMQ的confrim使用机制我相信大家有了一定的了解，我这边就不在这边过多的介绍，如果还有不太清楚的朋友，可以去朱小厮的博客去学习，我把对应的博客链接放在下面的位置。RabbitMQ之消息确认机制（事务+Confirm）_朱小厮的博客-CSDN博客_rabbitmq生产者确认机制。.........
RabbitMQ之消息回调
qq_43654581的博客
11-10 4825
1.ConfirmCallback、ReturnsCallback回调 2.事务 3.Confirm确认模式
rabbitMQ 如何用confirm模式保证消息可靠性投递
05-14
RabbitMQ 的 Confirm 模式是为了保证消息的可靠投递而设计的。 在普通模式下，当生产者将消息发送给 RabbitMQ 时，RabbitMQ 只会将消息存储在内存中，然后发送 ACK 给生产者。生产者无法得知消息是否真正被投递到了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值