Rabbit MQ 和Spring AMQP学习三（消息的可靠性）

最新推荐文章于 2024-05-03 20:34:24 发布
最新推荐文章于 2024-05-03 20:34:24 发布
阅读量639 收藏 4
点赞数 2
分类专栏： 消息队列 文章标签： java rabbitmq spring
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dghkgjlh/article/details/111874999
版权

文章目录

Rabbit MQ 和Spring AMQP学习三（消息的可靠性）

在实际生产环境中，各种意想不到的情况都可能会发生。那么如何尽最大努力保证Producer端生产的消息要被Consumer端消费掉呢？也就是两方面，消息发送的可靠性，消息消费的可靠性。

Producer端对于消息投递的可靠性

Rabbit MQ消息模型中,三大角色就是Producer、Broker、Consumer.那么首先要确保，生产者发送的消息要能够到达Broker。生产者负责生产消息，并要确保该消息成功到达Broker。Broker是存在于Rabbit MQ Server上的，并且Broker包含了exchange,binding,queue.那么一步一步分析可能会出现问题的地方

Spring AMQP官方文档也给出了可能会出现问题的情况

可能会出现问题的地方

  1. Producer向Rabbit MQ Server发送消息的过程中，因为网络原因，并未到达Rabbit MQ Server
  2. Producer的消息到达了Rabbit MQ Server,开始寻找对应的Exchange.找不到对应的Excahnge.换种说法，Exchange不存在。此时Rabbit MQ Server如何处理消息？
  3. Producer的消息到达了Rabbit MQ Server，并到达了对应的Exchange,但是通过routingKey和binding，无法找到对应的Queue.此时Rabbit MQ Server又是如何处理消息？

解决措施

针对上述三个生产者端可能会发生的问题，逐一进行解决。

针对第一点，如果因为网络原因，Producer无法和Rabbit MQ Server建立有效连接。那么消息直接发送失败。

针对第二、第三，Spring AMQP提供了publish-confirm模式。此模式的相关官方文档1、官方文档2

如何确定消息能否到达对应的Exchange

针对第二点，我们需要当消息到达Server的第一站-Exchange的时候，Rabbit MQ Server通知下我们，告知我们Rabbit MQ Server已经找到了对应的Exchange

Spring AMQP提供了RabbitTemplate.setConfirmCallback方法.Spring AMQP对于Producer端的确认支持，需要使用CachingConnectionFactory。并且有两个必要条件,官方文档

  1. PublisherReturns要设置为true
  2. PublisherConfirmType设置为ConfirmType.CORRELATED
@Bean
    public ConnectionFactory publishConnectionFactory() {
        CachingConnectionFactory result = new CachingConnectionFactory();
        result.setConnectionNameStrategy(connectionFactory -> "publishConnection");
        result.setHost("localhost");
        result.setPort(5672);
        result.setUsername("dhb");
        result.setPassword("123456");
        result.setVirtualHost("dhb");
        result.setCacheMode(CacheMode.CONNECTION);
        result.setPublisherReturns(true);
        result.setPublisherConfirmType(ConfirmType.CORRELATED);
        return result;
    }

配置RabbitTemplte的setConfirmCallback方法

@Bean
    public RabbitTemplate publishConfirmRabbitTemplate() {
        RabbitTemplate result = new RabbitTemplate(publishConnectionFactory());
        // 第一步：判断Producer -> Exchange 是否有问题
        // 要想使用correlationData，则发送时要设置该值，否则是null，设置方法见{@link com.example.rabbitmq.rabbitmqdemo.producer.TopicProducer.sendTopicMessage}
        result.setConfirmCallback((correlationData, ack, cause) -> {
            if (ack) {
                log.info("能够被Rabbit MQ Server的exchange接收到......");
            }else {
                log.info("在Rabbit MQ Server上找不到对应的exchange......原始信息id是{}, 原始信息是{}, 原因是{}" ,
                    Objects.requireNonNull(correlationData).getId(),
                    // 获取到body体的字节数组，直接只用 new String(byte[])构造方法，将字节数组转为字符串
                    new String(Objects.requireNonNull(correlationData.getReturnedMessage()).getBody()),
                    cause);
            }
        });
        return result;
    }

setConfirmCallback是一个函数式接口，包含了三个参数.

第一个参数correlationData是RabbitTemplate.converAndSend()方法时传的参数，如果没传，则获取的是null.

第二个参数ack则代表是否找到了对应的Exchange，如果为true，则代表找到了，如果为false，则代表没找到

第三个参数cause代表未找到Exchange的原因。当未找到Exchange时，该消息会被丢弃
在这里插入图片描述

模拟异常情况，发送时向不存在的Exchange发送消息
在这里插入图片描述
在这里插入图片描述

到达Exchange之后，如何确定消息可以到达对应的Queue

在Rabbit MQ 消息模型中，Exchange 只负责转发消息，是不负责存储消息的。存储消息的工作由Queue来做。因此，Producer端除了要保证消息能够找到正确的，已存在的Exchange，还要保证，Exchange能够转发到对应的Queue上。如果找不到对应的Queue，那么如何通知Producer端。

Spring AMQP提供了setReturnsCallback。

使用returnsCallback的前提是RabbitTemplate的mandatory为true.继续在上面的RabbitTemplate配置中配置returnsCallback方法

....前面的省略
// 第二步：判断Exchange -> Queue 是否有问题
        // 设置为true，在exchange找不到queue的时候才会回调
        result.setMandatory(true);
        result.setReturnsCallback(returned -> {
            log.info("找到了exchange，但是没有被路由到正确的queue....routingKey是:{}, 原始信息是{}", returned.getRoutingKey(), new String(returned.getMessage().getBody()));
        });

setReturnsCallback也是一个函数式接口，包含了一个ReturnedMessage对象，该对象有五个属性

第一个属性Message，Producer发出的原始消息

第二个属性replyCode, 回调的原因码

第三个属性replyText,回到原因的字符串

第四个属性exchange，发送消息时携带的exchange的名字

第五个属性routingKey,发送消息时携带的routingKey

正常情况下，如果routingKey能够和Binding对应上，是不会触发此回调。只有在找不到对应的Queue的时候，才会触发

模拟异常情况，这次exchange设置正确，Queue设置错误
在这里插入图片描述

可以看到在没有对应的Queue的情况下，回调通知到了Producer端，Producer端可根据实际情况进行处理

Server端对于消息保存的可靠性

前面，通过Spring AMQP提供的方法，我们可以保证，在Producer端发送消息时，如果消息没有被正确接收(没到达正确的Queue之前都属于未被正确接收)，Producer端可以收到Rabbit MQ Server的相关回调通知。在Producer端来自主决定是消息重发、还是不再发送一系列的逻辑。

而我们做开发的日常思考最多的问题就是，如果服务器宕机了怎么办？对于Rabbit MQ Server，如果Rabbit MQ Server来说，如果它宕机了，那么在宕机时，可能Server上存在着大量的未消费的消息。怎么办？

Server端Broker的相关组件要可重新加载

首先，如果Server宕机了，且不说存量消息怎么办。Server重启之后，如何保证原来的Server端的转发逻辑、存储逻辑依然有效?

这里转发逻辑有效是指，Server重启后，新到达的正确的消息，能否找到Exchange，根据Exchange和binding、routingKey又如何找到Queue.

存储逻辑是指能否能像未宕机之前一样找到对应的Queue并存储。

那么要保证这两个逻辑经过N次Server重启依然有效的办法就是Broker持久化。当Rabbit MQ Server重启的时候，只需要根据机器上持久化的文件重新加载相关组件即可。

那么我们需要整理下Broker哪些部分需要持久化？

  1. Exchange
  2. Queue

这两部分是构成了Broker的关键，并且互相关联，缺一不可。所以，这两个都需要持久化。对于Excahnge、Queue，Spring AMQP都提供了durable属性，true代表需要持久化。官方文档
在这里插入图片描述

对于消息的可持久化

上面的设置保证了Rabbit MQ Server在宕机重启之后，对于新到达的消息依旧可以想宕机之前一样处理。那么对于宕机之前的未消费的消息、正在消费但是未确认消费成功的消息怎么办？

如何保证宕机重启之后，这些存量数据还在，那么就要把消息存到Rabbit MQ Server所在机器的硬盘上，当Server重启后，读取具体存储位置下未消费的消息数据即可，官方术语是消息持久化

Producer端发送消息时，需要告知Server端，此消息需要持久化，Spring AMQP默认的Message对象中的MessagePorperties对象中的DeliverMode是PERSISTENT-持久化的。

手动设置消息可持久化、非持久化

 MessageProperties messageProperties = new MessageProperties();
        messageProperties.setDeliveryMode(MessageDeliveryMode.PERSISTENT);
        Message message = new Message("this is persistent message".getBytes(), messageProperties);
        rabbitTemplate.convertAndSend(topicExchange.getName(), "message.second.Topic", message);

而Rabbit 官方教程的第二个教程也给出了消息持久化的对应API和说明
在这里插入图片描述

但是，同时下面官方还有一段比较着重的话
在这里插入图片描述

Rabbit MQ Server并不完全保证，消息不会丢失。因为在开启了消息持久化的时候，Server可能还没有真正写到机器的硬盘上，可能还在操作系统的cache中。这个时候，如果机器的操作系统崩溃了，其实该消息也是丢失了。

Consumer端对于消息的消费的可靠性

实际使用MQ过程中，在消费者端处理消息时，往往有一些业务逻辑要处理。我们认为实际业务逻辑正确地处理完才算成功消费掉了一条消息。而实际上，默认情况下，Spring AMQP是自动确认消息的，消息刚到达@RabbitListener注解的消费者端，该消息就被标记为成功消费并返回通知Rabbit MQ Server.这种处理方式和我们想要的方式不一样。我们采取手动确认消息，当处理完实际业务逻辑之后，我们手动确认消息被成功消费。而处理业务逻辑过程中一旦失败，则我们手动确认消息消费失败

手动确认消息

首先，我们要设置消息的确认状态为手动。

Rabbit MQ官方关于消费端确认消息的相关文档.很详细的说明了为什么要确认消息？手动确认的使用方式等等

Rabbit官方的JAVA API

// 如果要手动确认消息消费成功，则直接调用
channel.ack(deliveryTag, true)；
// 如果要手动确认消息消费失败，则直接调用
channle.Nack(deliveryTag, true, true);
deliveryTag是干嘛的

deliveryTag是Rabbit MQ Server的推送消息标识。代表着此次推送的消息的唯一性。
在这里插入图片描述

其最大值为long类型的最大值2^63 -1.官方说明

Spring AMQP允许在@RabbitListener注解上设置ackMode类型.一共有三种

  1. NONE-自动确认
  2. MANUAL-手动确认
  3. AUTO-根据实际情况判断
@RabbitListener(queues = "${queue.topic.first}", ackMode = "MANUAL")

注意这里的ackMode对应的字符串一定要大写

也可以在ContainerFactory或者Container中设置消息确认模式

@Bean
    public SimpleRabbitListenerContainerFactory rabbitListenerContainerFactory() {
        SimpleRabbitListenerContainerFactory result = new SimpleRabbitListenerContainerFactory();
        result.setConnectionFactory(connectionFactory());
        result.setPrefetchCount(2);
        // 这里根据实际情况来配置是否开启全局消息手动确认
        result.setAcknowledgeMode(AcknowledgeMode.MANUAL);
        return result;
    }

根据上面的Rabbit MQ官方的JAVA API可知，如果需要手动确认，我们需要在Consumer端接收消息的时候，获取到此时和Rabbit MQ Server之间的channel对象。

而Spring AMQP对于手动确认消息消费成功，并没有提供很方便的回调方法之类的，只有统一的MessageListenerAdapter，如果自定义了MessageAdapter，并重写了buildListenerArguments方法，该方法里有上面所说的需要的channel对象。则可以使用Rabbit官方的JAVA API手动确认。详细文档

后来经过查阅资料，当我们的Consumer端的具体@RabbitListener注解标注的方法里有Channel参数时，可以自动获得。这样一来就方便多了。

示例代码

/**
     * 监听Queue的时候，直接获取消息体.
     * 在注解上开启手动确认， 必须是ackMode的大写.
     * 在进行消息确认的时候，要带上Rabbit MQ Server发送过来头上的tag,可以通过@Header注解获取delivery tag,
     * @param firstTopicQueueMessage 消息体
     * @param channel Broker和Consumer建立的channel
     * @param tag 消息头中的tag
     */
    @RabbitListener(queues = "${queue.topic.first}", ackMode = "MANUAL")
    @RabbitHandler
    @SneakyThrows
    public void receiveFirstTopicQueueMessage(String firstTopicQueueMessage, Channel channel, @Header(AmqpHeaders.DELIVERY_TAG) long tag) {
        log.info("This is firstTopicQueue received message: {}", firstTopicQueueMessage);
        try {
            // 处理实际业务
            doActualWork();
            TimeUnit.SECONDS.sleep(5);
            // 制造异常
            // int wrongNumber = 1/0;
            // 无异常，确认消息消费成功
            channel.basicAck(tag, true);
        }catch (IOException | ArithmeticException exception) {
            log.error("处理消息发生异常", exception);
            // 有异常，将消息返回给Queue里，第三个参数requeue可以直接看出来，是否返回到Queue中
            channel.basicNack(tag, true, true);
        }
    }

这里我们获取Rabbit MQ Server的deliveryTag可以通过Spring AMQP提供的注解获取。对于具体的消息体直接使用对应的类型-这里是字符串接收(也可以是个POJO)

还有另外一种方式获取消息，通过Message对象获取

/**
     * 监听Queue的时候，不直接获取消息体.而是通过Message对象获取消息体
     * @param secondTopicQueueMessage Message对象
     * @param channel Broker和Consumer建立的channel
     */
    @RabbitListener(queues = "${queue.topic.second}", ackMode = "MANUAL")
    @RabbitHandler
    @SneakyThrows
    public void receiveSecondTopicQueueMessage(Message secondTopicQueueMessage, Channel channel, @Header(AmqpHeaders.DELIVERY_TAG) long deliveryTag) {
        byte[] messageBody = secondTopicQueueMessage.getBody();
        String message = new String(messageBody, Charset.defaultCharset());
        log.info("This is secondTopicQueue received message: {}", message);
        // 开启休眠，可以在控制台上发现当前队列中的消息处于Unacked状态
        TimeUnit.SECONDS.sleep(60);
        channel.basicAck(deliveryTag, true);
    }

当开启了手动确认消息时，在我们没有手动确认消息之前，通过控制台观察，该消息都是Unacked的状态
在这里插入图片描述

当我们模拟异常发生时，通过代码debug，发现消息没有被认为是消费成功，而是又返回到Queue中，重新发送给消费者。

注意channel.basicNack不一定是消息处理失败才可以用，当Consumer端处理不过来消息，也可以直接拒绝确认消息。消息返回到Queue之后，如果，有其他Consumer，会发送给其他Consumer处理.Rabbit MQ官方文档说明如下
在这里插入图片描述

JackSparrow414
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
rabbitmq-advanced-spring-boot-starter：一个通用库，用于通过spring boot amqp上的扩展名与rabbit mq进行消息传递
01-30
该项目的目的是为Rabbit MQ提供一个通用的Spring Boot Starter项目，用于消息传递解决方案。 通过简单地在yml中提供配置，这有助于我们自动配置Rabbit mq交换和队列以及绑定。 这也有助于在框架级别的单个位置更好地...
rabbit和spring整合实战
10-18
在IT行业中，消息队列（Message Queue，简称MQ）是一种重要的中间件技术，它用于解耦应用程序的不同组件，提高系统的可扩展性和容错性。RabbitMQ是一个广泛使用的开源MQ服务器，而Spring框架则是一个Java领域的全...
使用IDEA开发RabbitMQ教程系列（十一）使用Spring AMQP实现100%的可靠性投递
傲泣龙腾的博客
04-26 5435
1、前言
RabbitMQ之如何保证消息的可靠性与Spring AMQP特性
积跬步，至千里。
01-13 390
主流消息中间件ActiveMQRabbitMQRocketMQKafkaErlangAMQP协议ExchangeDirect ExchangeFanout ExchangeTopit ExchangeRabbitMQ的安装Windows安装Linux安装网页端管理工具命令行工具的使用状态查看用户相关应用启停集群相关镜像队列 主流消息中间件 ActiveMQ 概述 由 Apache出品,Java开发,支持JMS1.1协议和J2EE14规范。 支持广泛的连接协议: OpenWire/ST
RabbitMQ 的七种消息传递形式
最新发布
2401_84152991的博客
05-03 1099
Java架构学习技术内容包含有：Spring，Dubbo，MyBatis, RPC, 源码分析，高并发、高性能、分布式,性能优化，微服务 高级架构开发等等。还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！如下：@Component。
springboot整合rabbitMQ系列3 消息发布的可靠性投递(生产者发送消息到mq服务器)---生产者可靠性投递
小哇
04-12 755
以下功能是在此项目上升级https://blog.csdn.net/qq_41712271/article/details/115619405?spm=1001.2014.3001.5501 在使用 RabbitMQ的时候，作为消息发送方希望杜绝任何消息丢失或者投递失败场景。也可以用事务，但性能较差，一般不用 RabbitMQ 为我们提供了两种方式用来控制消息的投递可靠性模式。confirm 确认模式 return 退回模式 rabbitmq 整个消息投递的路径为： producer--->rab.
RabbitMQ与AMQP模型概览
yygr的博客
03-07 454
RabbitMQ与AMQP模型概览_凡是过往，皆为序章-CSDN博客_amqp模型 目录 RabbitMQ 简介 消息模型 点对点模式 发布订阅模式 AMQP 模型简介 AMQP 的基本概念 Exchange 和 Exchange 类型 关于默认 Exchange Direct Exchange fanout exchange topic exchange header exchange Queue 队列名 持久队列 队列的绑定 消费者 消息的 ACK 拒绝消息
Rabbitmq小书
m0_53157173的博客
09-19 1564
Rabbitmq - Official Image | Docker Hub 默认用户名和密码为guest1.生产者(Publisher): 发布消息到RabbitMQ中的交换机(Exchange)上2.交换机(Exchange): 和生产者建立连接并接受生产者投递的消息3.消费者(Consumer): 监听RabbitMQ中的Queue中的消息4.队列(Queue): Exchange将消息分发到指定的Queue5.路由(Routes):交换机转换消息到队列的规则详细参考官方文档:AMQP 0-9-1 M
spring整合rabbit mq的jar包
10-27
spring-rabbit-1.5.1.RELEASE.jar， spring-amqp-1.5.1.RELEASE.jar， rabbitmq-client.jar spring-retry-1.1.2.RELEASE.jar 四个包 之前的资源不好意思传错了一个
RabbitMQ-SpringBoot-Project：这是一个有关如何使用Rabbit MQ和Spring Boot将消息从Producer发送到Consumer应用程序的项目
02-19
在本文中，我们将深入探讨如何使用...通过这个项目，你可以学习到如何在Spring Boot中集成RabbitMQ，以及如何构建高效、可靠的分布式消息传递系统。理解并掌握这些知识点对于构建高并发、低耦合的微服务架构至关重要。
SpringBoot-RabbitMQ：RabbitMQ为异步消息处理提出了一个很好的解决方案，它是一个非常好用的消息中间件，主要用于中间件的解压缩，同时，Spring Boot为RabbitMQ提供了支持，Spring Boot为兔子准备了spring-boot-starter-amqp，spring-rabbit支持AMQP（即高级消息队列协议，高级消息协议，是应用层协议的一个开放标准），并且为兔子模板和兔子MQ提供了自动配置选项
01-29
你会使用Spring AMQP的RabbitTemplate内置应用系统来发布消息和使用一个MessageListenerAdapter POJO来订阅消息 git克隆 gradle bootRun 需要 大约几十分钟 一款文本编辑器或者IDE 你也可以从这个项目中入门代码...
RabbitMQ 高级：分布式事务详解案例——可靠消费（三）
祝我飞黄腾达
03-24 1169
阿巴阿巴阿巴.... 上篇博文讲述了分布式系统分布式事务的问题，引入RabbitMQ消息中间件的解决方案，详细演示了基于订单系统的可靠生产，本篇文章将用实际代码和例子，讲解消费者可靠消息问题，整体的架构代码翻阅上篇博文，这里就不一一完全贴出来了 分布式系统分布式事务解决方案 相关配置增加 ①. 配送中心系统pom.xml依赖 上篇博文中已经详细展示了配送中心的完整代码，本文例子将不会再逐一贴出，在原有依赖上，增加了mq、lombok、json格式化等依赖 <de...
RabbitMQ与springboot整合注意事项
樱吹雪
09-10 623
一、配置文件 spring: rabbitmq: host: 127.0.0.1 #主机地址 port: 5672 #端口号 username: admin #用户名，在15672上配置 password: admin #密码，在15672上配置 virtual-host: /user #占用的虚拟主机地址，在15672上配置 template: retry: enabled: true
RabbitMq消息确认机制之生产者AMQP事务确认,消费者手动ack确认（四）
weixin_41987908的博客
03-23 919
生产者AMQP事务确认 消费者手动ack确认 （一）生产者AMQP事务确认    我们知道事务可以保证消息的传递，使得可靠消息最终一致性。接下来我们先来探究一下RabbitMQ的事务机制。 RabbitMQ中与事务有关的主要有三个方法： txSelect() txCommit() txRollback() txSelect主要用于将当前channel设置成tr...
RabbitMQ消息可靠性（二）-- 消费者消息确认
m0_52887673的博客
05-01 457
MQ 的消费者消息确认指的是 RabbitMQ 作为消息中间件时，为防止消息丢失而增加的一种消息确认机制。
rabbitmq关于delivery_tag
t0m的专栏
10-30 9252
delivery_tag是消息投递序号，每个channel对应一个(long类型)，从1开始到9223372036854775807范围，在手动消息确认时可以对指定delivery_tag的消息进行ack、nack、reject等操作。 每次消费或者重新投递requeue后，delivery_tag都会增加，理论上该正常业务范围内，该值永远不会达到最大范围上限。可以根据每个消费者对应channe...
AMQP协议详解
m0_37541852的博客
03-04 595
文章目录一、AMQP 是什么二、AMQP模型工作过程深入理解三、Exchange交换机默认交换机直连交换机扇型交换机主题交换机头交换机交换机小结四、Queue队列队列属性队列创建队列持久化五、Consumer消费者六、消息机制消息确认拒绝消息预取消息消息属性消息主体消息持久化七、其他连接通道虚拟主机AMQP 是可扩展的AMQP 0-9-1 拥有多个扩展点：参考资料 一、AMQP 是什么 AMQP（...
SpringAMQP开启“可靠性”机制
LEE180501的博客
02-20 895
本章就重点介绍一下如何预防和处理使用SpringAMQP时可能出现的问题。
SpringBoot+RabbitMQ
一名系统架构师的征途
08-08 3646
RabbitMQ 即一个消息队列，主要是用来实现应用程序的异步和解耦，同时也能起到消息缓冲，消息分发的作用。消息中间件在互联网公司的使用中越来越多，刚才还看到新闻阿里将RocketMQ捐献给了apache，当然了今天的主角还是讲RabbitMQ。消息中间件最主要的作用是解耦，中间件最标准的用法是生产者生产消息传送到队列，消费者从队列中拿取消息并处理，生产者不用关心是谁来消费，消费者不用关心谁在生产...
用springAMQP和redis消息队列
05-10
使用 Spring AMQP 和 Redis 消息队列可以实现分布式系统中的异步通信，提高系统的性能和可靠性。 首先，你需要在 Spring Boot 项目中添加 Spring AMQP 和 Redis 的依赖。在 pom.xml 文件中添加以下依赖： ```xml ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值