rabbitmq 消息100%可靠性投递的解决方案实现 ack手动确认方式

最新推荐文章于 2024-10-04 20:49:24 发布
最新推荐文章于 2024-10-04 20:49:24 发布
阅读量2.9k 收藏 5
点赞数 1
分类专栏： springboot rabbitmq
代码实例及学习参考内容来自慕课网课程RabbitMQ消息中间件极速入门与实战部分代码自己进行了改造

特点：

  1. RabbitMQ底层使用Erlang语言编写，传递效率高，延迟低
  2. 开源、性能优秀、稳定性较高
  3. 与SpringAMQP完美的整合、API丰富
  4. 集群模式丰富、表达式配置、HA模式、镜像队列模式
  5. 保证数据不丢失的情况下，做到高可用
  6. AMQP全称：Advanced Message Queuing Protocol
  7. AMQP翻译:高级消息队列协议

AMQP核心概念

  • Server：又称Broker，接收客户端的连接，实现AMQP实体服务
  • Connection：连接，应用程序与Broker的网络连接
  • Channel：网络信道，几乎所有的操作都在Channel中进行，包括定义Queue、定义Exchange、绑定Queue与Exchange、发布消息等。Channel是进行消息读写的通道。客户端可以建立多个Channel，每个Channel代表一个会话任务。
  • Message：消息，服务器和应用程序之间传送的数据，由Properties和Body组成。Properties可以对消息进行修饰，比如消息的优先级、延迟等高级特性；Body就是消息体内容。
  • Virtual host：虚拟地址，用于进行逻辑隔离，最上层的消息路由。一个Virtual host可以有若干个Exchange和Queue，同一个Virtual host里面不能有相同的Exchange和Queue
  • Exchange：交换机，接收消息，根据路由键转发消息到绑定的队列

RabbitMQ中有三种常用的交换机类型:

direct: 如果路由键匹配，消息就投递到对应的队列

fanout：投递消息给所有绑定在当前交换机上面的队列

topic：允许实现有趣的消息通信场景，使得5不同源头的消息能够达到同一个队列。topic队列名称有两个特殊的关键字。

* 可以替换一个单词

# 可以替换所有的单词

  • Binding：Exchange和Queue之间的虚拟连接，binding中可以包含routing key
  • Routing key：一个路由规则，虚拟机可用它来确定如何路由一个特定消息
  • Queue：也称为Message Queue，消息队列，保存消息并将它们转发给消费者，多个消费者可以订阅同一个Queue，这时Queue中的消息会被平均分摊给多个消费者进行处理，而不是每个消费者都收到所有的消息并处理。
  • Prefetch count：如果有多个消费者同时订阅同一个Queue中的消息，Queue中的消息会被平摊给多个消费者。这时如果每个消息的处理时间不同，就有可能会导致某些消费者一直在忙，而另外一些消费者很快就处理完手头工作并一直空闲的情况。我们可以通过设置prefetchCount来限制Queue每次发送给每个消费者的消息数，比如我们设置prefetchCount=1，则Queue每次给每个消费者发送一条消息；消费者处理完这条消息后Queue会再给该消费者发送一条消息。

RabbitMq投递信息流程图
在这里插入图片描述

RabbitMq百分百推送流程图

在这里插入图片描述

  • Step 1： 首先把消息信息(业务数据）存储到数据库中，紧接着，我们再把这个消息记录也存储到一张消息记录表里（或者另外一个同源数据库的消息记录表）

  • Step 2：发送消息到MQ Broker节点（采用confirm方式发送，会有异步的返回结果）

  • Step 3、4：生产者端接受MQ Broker节点返回的Confirm确认消息结果，然后进行更新消息记录表里的消息状态。比如默认Status = 0 当收到消息确认成功后，更新为1即可！

  • Step 5：但是在消息确认这个过程中可能由于网络闪断、MQ Broker端异常等原因导致 回送消息失败或者异常。这个时候就需要发送方（生产者）对消息进行可靠性投递了，保障消息不丢失，100%的投递成功！（有一种极限情况是闪断，Broker返回的成功确认消息，但是生产端由于网络闪断没收到，这个时候重新投递可能会造成消息重复，需要消费端去做幂等处理）所以我们需要有一个定时任务，（比如每5分钟拉取一下处于中间状态的消息，当然这个消息可以设置一个超时时间，比如超过1分钟 Status = 0 ，也就说明了1分钟这个时间窗口内，我们的消息没有被确认，那么会被定时任务拉取出来）

  • Step 6：接下来我们把中间状态的消息进行重新投递 retry send，继续发送消息到MQ ，当然也可能有多种原因导致发送失败

  • Step 7：我们可以采用设置最大努力尝试次数，比如投递了3次，还是失败，那么我们可以将最终状态设置为Status = 2 ，最后 交由人工解决处理此类问题（或者把消息转储到失败表中）。

代码测试

  • 1.将test.sql导入本地数据库,将服务端和消费端的rabbitmq配置文件账号密码进行相应的修改

  • 2.首先启动消费服务端 rabbitmq-customer服务的Application.java

  • 3.再启动rabbitmq服务端 rabbitmq-publisher服务的Application.java

  • 4.浏览器调用投递信息的控制器 127.0.0.1:8081/send

  • 5.在消费服务端的控制台可以看到信息处理的日志

项目源码地址: https://github.com/niezhiliang/springboot-rabbitmq

苏雨丶
关注
专栏目录
消息队列专题(高级特性篇)：RabbitMQ 如何保证消息的可靠性投递、传输和消费
盛夏温暖流年
12-04 1349
我们使用 RabbitMQ 进行消息处理一般都需要保证消息的可靠性，而消息的可靠性又可以根据消息的不同处理阶段分为可靠性投递、传输和消费。 本篇博客将针对这三种情况介绍相应的设计方案，首先来看一下消息的可靠性投递。 消息的可靠性投递 1. 消息投递模式 消息可靠性投递，是指保证生产者能够把消息 100% 发送到消息队列中，生产者 Producer 为我们提供了两种消息投递模式：Confirm 确认模式 和 Return 退回模式 ，这两种模式是保障消息可靠性投递的核心，先来了解下这两种模式。 Confir
RabbitMQ实现消息可靠投递
baobao的博客
07-08 1244
本文从本人博客搬运，原文格式更加美观，可以移步原文阅读：RabbitMQ实现消息可靠投递 实际开发中，我们经常需要保证消息由生产者发送到消费者接收并消费的整个过程中，消息不丢失，这就需要在RabbitMQ中实现消息的可靠投递。主要包含以下两部分： 发送端可靠性：指生产者发送消息到RabbitMQ Broker这个过程中保证消息不丢失 接收端可靠性：指RabbitMQ Broker将消息发送给消费者并且消费者正确处理消息的这个过程中保证消息不丢失 发送端可靠性 发送端可靠性主要包含3个方面： 消息抵达交
SpringBoot Rabbitmq 消息发送手动确认demo
10-30
SpringBoot Rabbitmq 消息发送手动确认demo,通过实现RabbitTemplate.ConfirmCallback 的confirm方法来手动确认
RabbitMQ消息100%可靠性投递的解决方案实现(一)
eluanshi12的博客
05-16 7096
RabbitMQ消息中间件极速入门与实战 课程 RabbitMQ学习——高级特性 RabbitMQ消息中间件技术精讲（三）—— 深入RabbitMQ高级特性 https://blog.csdn.net/u012211603/article/details/86118129 消息如何保证100%投递成功 什么是生产端的可靠性投递 保障消息的成功发出 保障MQ节点的成功接收 发送端收到MQ节点(Br...
rabbitmq消费者应答模式
最新发布
zhzjn的博客
10-04 1339
RabbitMQ 中的消息应答模式主要包括两种：自动应答（Automatic Acknowledgement）和手动应答（Manual Acknowledgement）。不在乎消费者对消息处理是否成功，都会告诉队列删除消息。如果处理消息失败，实现自动补偿（队列投递过去 重新处理）。在手动应答模式下，消费者在接收到消息后并不会立即向RabbitMQ确认消息已处理完毕。消费者需要显式调用basicAck方法来确认消息处理完成，RabbitMQ只有在接收到消费者的确认后才会将消息从队列中删除。
消息保障100%投递成功方案与等幂性
lql_h的博客
03-22 403
生产端的可靠性传递 保障消息的成功发出 保障MQ节点成功接收 发送端收到MQ节点（Broker）确认应答 完善的消息进行补偿机制（返回应答时突然断电，不知是否投递成功） 互联网大厂的解决方案 方案一 消息落库，对消息状态进行打标（发出一个标志，接收一个标志） 生产者产生消息，先持久化业务DB和消息DB，然后发送MQ，MQ返回应答，修改消息DB的发送成功标志 定时任务轮询发送没...
RabbitMq手动ack的超简单案例+Confirm和Return机制的配置和使用
LUCIAZZZ的博客
07-28 1349
deliverTag：表示消息投递序号，每次消费消息或者消息重新投递后，deliverTag都会增加。手动消息确认模式下，我们可以对指定deliverTag的消息进行ack、nack、reject等操作。这个会让我们的mq通道断连，然后再重连，这样子会导致部分消息丢失，所以记得配置开启手动ack。如果我们不开启手动ack，我们的自己写的手动ack代码就算是再次ack了。反正这个重新发送消息，我得到的和之前的不同，有部分属性缺失了。所以他重试的时候会阻塞一段时间，此时后面的消息是不能消费的。
rabbitmq自动及手动ACK
code_mzh的博客
07-23 1644
主要是确认消息被消费者消费完成后通知服务器将队列里面的消息清除,手动自动就是对异常的处理态度不同。 不配置Ack的话,此时的服务是no_ack=true的模式，就是说只要我发现你是消费了这个数据，至于异常不异常的，我不管了。 通知Ack机制就是这么来的，更加灵活的，我们需要Ack不自动，而是手动，这样做的好处，就是使得我们开发人员更加人性化或者灵活的来处理我们的业务代码，异常发生不会丢数据，更加方便的处理异常的问题以及数据的返回处理等。下面是通话机制的四条原则： basic.Ack 发回给 Ra
rabbitmq 消息100%可靠性投递的解决方案实现 ack手动确认方式.zip
01-15
通过系统性的规划和执行，方案能够分析问题的根本原因，提供可行的解决方案，并引导实施过程，确保问题得到合理解决。 目标达成： 方案通常与明确的目标相关联，它提供了一种达成这些目标的计划。无论是企业战略、...
Spring Boot与RabbitMQ实现邮件100%投递与消费确认
这篇文档提供了一个完整的解决方案，从获取授权码到实现邮件发送、RabbitMQ配置、消费确认、幂等性验证，再到异常处理和消息重试，确保了邮件系统的健壮性和可靠性。对于任何希望在Spring Boot应用中实现可靠邮件...
RabbitMQ 补偿机制、消息幂等性解决方案
m0_71682321的博客
06-14 1391
RabbitMQ 补偿机制、消息幂等性解决方案
rabbitmq_mq手动ack的配置
weixin_51578439的博客
07-21 2619
由于公司配置的mq是自动ack的，所以导致有时候数据丢失没有保存数据，所以想改为手动ack的方式。 首先按照我的理解，手动ack和自动ack的含义分别是： 手动ack： 消费者收到消息之后，等到业务流程走完，确当数据已经落地，自己手动告诉mq服务端我收到消息了，然后服务端再把消息销毁。 自动ack： 不管你数据有没有落地，消费者一旦收到消息就自动ack告诉服务端我收到消息了，然后服务端清理数据。 公司的项目是ssh的，在xml中配置mq我还是比较生疏的，参考网上的资料，把mq配成手动ack的。 <!-
（六）RabbitMQ消息队列-消息任务分发与消息ACK确认机制（PHP版）
热门推荐
巴拉巴拉小魔仙
04-26 1万+
在前面一章介绍了在PHP中如何使用RabbitMQ，至此入门的的部分就完成了，我们内心中一定还有很多疑问：如果多个消费者消费同一个队列怎么办？如果这几个消费者分任务的权重不同怎么办？怎么把同一个队列不同级别的任务分发给不同的消费者？如果消费者异常离线怎么办？不要着急，后面将慢慢解开面纱。我们将结合实际的应用场景来讲解更多的高级用法。任务分发机制设想如果把每个消息当做一个任务，生产者把任务发布到Rab
RabbitMQ 设置自定义消息后 广播消息无法ack
三步两步走
07-06 656
解决RabbitMQ 设置自定义消息后 广播消息无法ack
RabbitMq简介及生产事务及消费端ack
m0_37817561的博客
02-20 1156
一.RabbitMq简介 AMQP（高级消息队列协议）是一种消息协议，它使符合标准的客户端应用程序能够与符合标准的消息中间件代理进行通信。 二.核心概念 1.Publisher 消息的生产者，将消息发送给交换机 2.Consumer 消息的消费者，绑定队列并消费消息 3.Virtual Hosts 虚拟主机，虚拟主机提供资源的逻辑分组和分离，拥有自己的队列、交换器、绑定和权限机制；一个Virtual Host里面可以有若干个Exchange和Queue，同一个Virtual Host里面不能有相同名称的E
rabbitmq实战（广播模式)
企鹅漫步
12-24 1万+
RabbitMQ的结构图如下：   几个概念说明： Broker：简单来说就是消息队列服务器实体。 Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。 Queue：消息队列载体，每个消息都会被投入到一个或多个队列。 Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。 Routing Key：路由关键
RabbitMQ各种模式及其confirm模式、return模式、ack机制说明、限流、TTL、死信队列、延迟队列实现
YxinMiracle's Studio.
09-01 765
Rabbitmq 1、下载安装 **第一步：**下载安装erlang，RabbitMQ服务端代码是使用并发式语言Erlang编写的，安装Rabbit MQ的前提是安装Erlang。 下载地址：http://www.erlang.org/downloads 选择自己合适的版本进行下载，在安装时记得记住安装路径，安装完事儿后要记得配置一下系统的环境变量 此电脑–>鼠标右键“属性”–>高级系统设置–>环境变量–>“新建”系统环境变量 变量名：ERLANG_HOME，变量值就是刚才erla
RabbitMQ 手动确认超时处理
qq_39109264的博客
05-27 3925
RabbitMQ在手动模式下，如果没有调用手动的ack方法，那么在等待十五分钟之后，会重新把消息给消费者。 @Component public class TestQueueReceiver { @RabbitListener(queues = "TestQueue") @RabbitHandler public void handlerTestQueue(Message msg, Channel channel) throws IOException, InterruptedEx
RabbitMQ死循环-延长ACK时间
amyzhang1234的博客
08-08 1773
一、应用背景 　　今天做一个需求，要将RabbitMQ中的任务取出并执行，为防止任务执行期间出错，设置NO_ACK=FALSE标志，这样、一旦任务没有应答的话，相应的任务就会被RabbitMQ自动Re-Queue,避免丢失任务。然而、由于任务执行时间较长，通常需要五、六分钟，甚至更长；我们都知道一旦一个任务被取出执行，该任务就从Ready状态更改成Unacked状态。如图所示： ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值