[000-01-022].第11节：RabbitMQ中的延迟队列

已于 2024-09-10 13:54:49 修改
阅读量36 收藏
点赞数
分类专栏： # 中间件 文章标签： java rabbitmq
于 2023-04-18 09:07:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43783284/article/details/130199178
版权

我的后端学习大纲

RabbitMQ学习大纲

1.什么是延迟队列

  • 1.延时队列,队列内部是有序的，最重要的特性就体现在它的延时属性上，延时队列中的元素是希望在指定时间到了以后或之前取出和处理。简单来说，延时队列就是用来存放需要在指定时间被处理的元素的队列

2. 延迟队列使用场景

2.1.使用的场景：

  • 1.订单在十分钟之内未支付则自动取消
  • 2.新创建的店铺，如果在十天内都没有上传过商品，则自动发送消息提醒。
  • 3.用户注册成功后，如果三天内没有登陆则进行短信提醒。
  • 4.用户发起退款，如果三天内没有得到处理则通知相关运营人员。
  • 5.预定会议后，需要在预定的时间点前十分钟通知各个与会人员参加会议

2.2.这些场景的特点：

  • 1.这些场景都有一个特点，需要在某个事件发生之后或者之前的指定时间点完成某一项任务，如：发生订单生成事件，在十分钟之后检查该订单支付状态，然后将未支付的订单进行关闭；看起来似乎使用定时任务，一直轮询数据，每秒查一次，取出需要被处理的数据，然后处理不就完事了吗？如果数据量比较少，确实可以这样做，比如：对于“如果账单一周内未支付则进行自动结算”这样的需求，如果对于时间不是严格限制，而是宽松意义上的一周，那么每天晚上跑个定时任务检查一下所有未支付的账单，确实也是一个可行的方案
  • 2.但对于数据量比较大，并且时效性较强的场景，如：“订单十分钟内未支付则关闭“，短期内未支付的订单数据可能会有很多，活动期间甚至会达到百万甚至千万级别，对这么庞大的数据量仍旧使用轮询的方式显然是不可取的，很可能在一秒内无法完成所有订单的检查，同时会给数据库带来很大压力，无法满足业务要求而且性能低下
  • 3.如下是介绍的订单业务在延迟队列种实现的逻辑流程图：
    在这里插入图片描述

3.RabbitMQ 中的 TTL

3.1.什么是TTL：

  • 1.TTL 是 RabbitMQ 中一个消息或者队列的属性，表明一条消息或者该队列中的所有消息的最大存活时间，单位是毫秒
  • 2.如果一条消息设置了 TTL 属性或者进入了设置 TTL 属性的队列，那么这条消息如果在 TTL 设置的时间内没有被消费，则会成为"死信"。如果同时配置了队列的 TTL 和消息的TTL，那么较小的那个值将会被使用，有两种方式设置 TTL

3.2. 设置 TTL的两种方式：

  • 1.消息设置 TTL
    在这里插入图片描述
  • 2.队列设置 TTL
    在这里插入图片描述

3.3.两者的区别

  • 1.如果设置了队列的 TTL 属性，那么一旦消息过期，就会被队列丢弃(如果配置了死信队列被丢到死信队列中)
  • 2.而消息即使过期，也不一定会被马上丢弃，因为消息是否过期是在即将投递到消费者之前判定的，如果当前队列有严重的消息积压情况，则已过期的消息也许还能存活较长时间；
  • 3.另外，还需要注意的一点是，如果不设置 TTL，表示消息永远不会过期，如果将 TTL 设置为 0，则表示除非此时可以直接投递该消息到消费者，否则该消息将会被丢弃

4.SpringBoot整合RabbitMQ

4.1.引入依赖文件：

<dependencies>
	 <!--RabbitMQ 依赖-->
	 <dependency>
		 <groupId>org.springframework.boot</groupId>
		 <artifactId>spring-boot-starter-amqp</artifactId>
	 </dependency>
	 <dependency>
		 <groupId>org.springframework.boot</groupId>
		 <artifactId>spring-boot-starter-web</artifactId>
	 </dependency>
	 <dependency>
		 <groupId>org.springframework.boot</groupId>
		 <artifactId>spring-boot-starter-test</artifactId>
	 	 <scope>test</scope>
	 </dependency>
	 <dependency>
		 <groupId>com.alibaba</groupId>
		 <artifactId>fastjson</artifactId>
		 <version>1.2.47</version>
	 </dependency>
	 <dependency>
		 <groupId>org.projectlombok</groupId>
		 <artifactId>lombok</artifactId>
	 </dependency>
	 <!--swagger-->
	 <dependency>
		 <groupId>io.springfox</groupId>
		 <artifactId>springfox-swagger2</artifactId>
		 <version>2.9.2</version>
	 </dependency>
	 <dependency>
		 <groupId>io.springfox</groupId>
		 <artifactId>springfox-swagger-ui</artifactId>
		 <version>2.9.2</version>
	 </dependency>
	 <!--RabbitMQ 测试依赖-->
	 <dependency>
		 <groupId>org.springframework.amqp</groupId>
		 <artifactId>spring-rabbit-test</artifactId>
		 <scope>test</scope>
	 </dependency>
</dependencies>

4.2.修改配置文件：

spring.rabbitmq.host=182.92.234.71
spring.rabbitmq.port=5672
spring.rabbitmq.username=admin
spring.rabbitmq.password=123

4.3.添加Swagger配置类：

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import springfox.documentation.builders.ApiInfoBuilder;
import springfox.documentation.service.ApiInfo;
import springfox.documentation.service.Contact;
import springfox.documentation.spi.DocumentationType;
import springfox.documentation.spring.web.plugins.Docket;
import springfox.documentation.swagger2.annotations.EnableSwagger2;
@Configuration
@EnableSwagger2
public class SwaggerConfig {
	 @Bean
	 public Docket webApiConfig(){
	 return new Docket(DocumentationType.SWAGGER_2)
	 .groupName("webApi")
	 .apiInfo(webApiInfo())
	 .select().build();
 	}

 private ApiInfo webApiInfo(){
	 return new ApiInfoBuilder()
		 .title("rabbitmq 接口文档")
		 .description("本文档描述了 rabbitmq 微服务接口定义")
		 .version("1.0")
		 .contact(new Contact("enjoy6288", "http://atguigu.com", "1551388580@qq.com"))
		 .build();
	} 
}

5、SpringBoot延迟队列实现：

5.1.案例架构图：

  • 创建两个队列 QA 和 QB，两者队列 TTL 分别设置为 10S 和 40S，然后在创建一个交换机 X 和延迟交换机（死信交换机） Y，它们的类型都是 direct，再创建一个死信队列 QD，它们的绑定关系如下：
    在这里插入图片描述

5.2.创建配置文件类：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.4.消息生产者代码：

在这里插入图片描述
在这里插入图片描述

4.5.消息消费者代码：

在这里插入图片描述

4.6.测试：

  • 1.发起一个请求 http://localhost:8080/ttl/sendMsg/嘻嘻嘻

6、延迟队列优化：

6.1.问题说明：

  • 在上一部分的案例中：第一条消息在 10S 后变成了死信消息，然后被消费者消费掉，第二条消息在 40S 之后变成了死信消息，然后被消费掉，这样一个延时队列就打造完成了。但是，如果这样使用的话，每增加一个新的时间需求，就要新增一个队列，这里只有 10S 和 40S两个时间选项，如果需要一个小时后处理，那么就需要增加 TTL 为一个小时的队列，如果是预定会议室，然后提前通知这样的场景，岂不是要增加无数个队列才能满足需求，我们需要把写死的延迟时间变成一个动态的，所以针对此问题，我们进行优化。

6.2.代码架构：

a.架构改善：

  • 1.在这里新增了一个队列 QC,绑定关系如下,该队列不设置 TTL 时间，当需要延迟的时候，生产者在发送消息的时候，就指定延迟时间，这样队列就通用了
    在这里插入图片描述

b.配置文件类代码：

在这里插入图片描述

c.消息生产者代码：

在这里插入图片描述

7.Rabbitmq 插件实现延迟队列

7.1.问题说明：

  • 1.本节我们通过在生产者上来设置消息的过期时间，从而实现了避免产生无数延迟队列的问题，但是新的问题又出现了，因为发送的消息在消息队列中是以排队的方式来进行传送的，当同时发送两个以上的消息，假设第二条消息的延迟时间比第一条时间短，但是事实上，RabbitMQ 只会检查第一个消息是否过期，如果过期则丢到死信队列，如果第一个消息的延时时长很长，而第二个消息的延时时长很短，第二个消息并不会优先得到执行。

上文中提到的问题，如果不能实现在消息粒度上的 TTL，并使其在设置的 TTL 时间及时死亡，就无法设计成一个通用的延时队列。对此，我们可以使用插件来实现延迟队列

7.2.插件安装：

a.插件下载：

  • 1.在官网上下载下载rabbitmq_delayed_message_exchange 插件，然后解压放置到 RabbitMQ 的插件目录
    在这里插入图片描述
  • 2.进入 RabbitMQ 的安装目录下的 plgins 目录，执行命令：rabbitmq-plugins enable rabbitmq_delayed_message_exchange让该插件生效，然后重启 RabbitMQ
    在这里插入图片描述
  • 3.管理页面查看延迟队列插件是否安装成功：
    在这里插入图片描述

7.3.插件下的延迟队列架构图：

在这里插入图片描述
在这里插入图片描述

7.4.编码实现：

a.配置文件类代码

  • 在我们自定义的交换机中，这是一种新的交换类型，该类型消息支持延迟投递机制，消息传递后并不会立即投递到目标队列中，而是存储在 mnesia(一个分布式数据系统)表中，当达到投递时间时，才投递到目标队列中
    在这里插入图片描述

b.生产者代码：

在这里插入图片描述

c.消费者代码：

在这里插入图片描述

1.01^1000
关注
专栏目录
【SpringBoot】43、SpringBoot中整合RabbitMQ实现延时队列（延时插件篇）
Asurplus
02-21 21万+
一、介绍 1、什么是延时队列？ 延时队列即就是放置在该队列里面的消息是不需要立即消费的，而是等待一段时间之后取出消费 2、适用场景 （1）商城订单超时未支付，取消订单 （2）使用权限到期前十分钟提醒用户 （3）收益项目，投入后一段时间后产生收益 二、实现方式 从以上场景中，我们可以看出，延时队列的主要功能就是在指定的时间之后做指定的事情，那么，我们思考有哪些工具我们可以使用？ 1、Redis 监听过期 Key 可以参考我的博客【SpringBoot】三十五、SpringBoot整合Redis监听Ke
SpringBoot：RabbitMQ-延迟队列
最新发布
2401_83412172的博客
04-17 795
如果手动创建过或者RabbitMQ中已经存在该队列那么也可以省略下述代码…/**RabbitMQ配置*/@BeanrabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> log.info(“消息发送成功:correlationData({}),ack({}),cause({})”, correlationData, ack, cause));
RabbitMQ学习-延迟队列
weixin_61407147的博客
05-28 1049
2.如果是消息设置了TTL属性，那么即使消息过期，也不一定会马上丢弃，因为消息是否过期是在即将投递到消费者之前判定的，如果当前队列有严重的消息挤压情况，那么已。背：也就是给队列设置个过期时间，然后到时间消息变成死信，消费死信队列中的消息就行，再没什么玩意，然后就是消费顺序问题要安装个插件。3.如果我们没有设置TTL，就表示消息永远不会过期，如果TTL设置为0，则表示除非此时可以直接投递到消费者，否则该消息会被丢弃。1.如果设置了队列的TTL属性，那么一旦消息过期，就会被队列的丢弃。
RabbitMQ延时队列
cjergfgp的博客
09-03 473
延时队列
rabbit死信队列出现TTL时间超过但是进入不了死信队列情况
热门推荐
sinat
02-24 4万+
原因是线上一场时间不精准问题导致的。 总的来说，为了让消息队列消息更加健壮，于是配置了超时时间和死信队列。但是出现的问题是，配置队列的TTL，总有一些消息在超过TTL时间后，进入不了死信队列，影响及时的业务通知系统。 问题在什么地方呢? prefetch: 1 属性配置上。 以下是问题重现，与解决过程 1.环境搭建 1.1rabbit服务器略 1.2springboot工程略 ...
RabbitMQ 入门教程(PHP版) 延迟队列，延迟任务
weixin_30538029的博客
07-01 659
延迟任务应用场景 场景一：物联网系统经常会遇到向终端下发命令，如果命令一段时间没有应答，就需要设置成超时。 场景二：订单下单之后30分钟后，如果用户没有付钱，则系统自动取消订单。 场景三：过1分钟给新注册会员的用户，发送注册邮件等。 实现方案 定时任务轮询数据库，看是否有产生新任务，如果产生则消费任务 pcntl_alarm为进程设置一个闹钟信号 swoole...
【分布式】Rabbitmq死信队列模型、实战场景---订单延迟30min支付处理
a23452的博客
09-18 2162
延时、延迟处理指定的业务逻辑 ---- 在实际生产中非常常见， 比如商城订单完成之后，用户如果一直没有评价，5天后自动好评，会员到期前15天、某个业务到期前X天提示 【 ECS最近给我提示麻了】， 延迟处理的业务逻辑， 之前就是定时器扫表， 但是这样子性能太低了，数据库压力大，RabbitMQ的延迟队列就可以解决
RabbitMQ中延迟队列的全方位解析
lt_xiaodou的博客
08-30 1318
工作中有些场景需要用到延迟队列，大概对RabbitMQ延迟队列场景有一些了解，网上大部分的场景应用于：订单超时、定时执行等。而我需要延迟队列的场景是：有一批机器需要监控这个延迟队列长度，一旦满足就提前预备机器，准备执行任务。通过监控延迟队列，我可以准确、可靠的清楚，接下来的某个时间我一定会执行哪些任务。相较于传统通过API来唤醒设备，提升了稳定性。我只需要关注一点：发布消息。同时也了解到，大部分使用RabbitMQ实现延迟队列从两个方向入手：接下来，我将会从这两个方向逐一进行，分析利弊。阅读本文，你将获得：
RabbitMQ 延迟队列-对于入门来说可以快速上手
马疯蜗的博客
03-19 1万+
RabbitMQ 延迟队列-非常非常实用RabbitMQ 延迟队列-非常非常实用一、使用场景二、消息延迟推送的实现三、项目具体实现 RabbitMQ 延迟队列-非常非常实用 一、使用场景 ​ 目前常见的应用软件都有消息的延迟推送的影子，应用也极为广泛，例如： ​ 淘宝七天自动确认收货，自动评价功能等。在我们签收商品后，物流系统会在七天后延时发送一个消息给支付系统，通知支付系统将款打给商家，这个过程持续七天，就是使用了消息中间件的延迟推送功能；相应的，自动评价也是类似的。 ​ 12306 购票支付确认页
深入剖析：RabbitMQ延迟队列的解决方案讲解
weixin_53185946的博客
04-07 1116
一、说明 在上一篇中，介绍了RabbitMQ中的死信队列是什么，何时使用以及如何使用RabbitMQ的死信队列。相信通过上一篇的学习，对于死信队列已经有了更多的了解，这一篇的内容也跟死信队列息息相关，如果你还不了解死信队列，那么建议你先进行上一篇文章的阅读。 这一篇里，我们将继续介绍RabbitMQ的高级特性，通过本篇的学习，你将收获： 什么是延时队列 延时队列使用场景 RabbitMQ中的TTL 如何利用RabbitMQ来实现延时队列 二、本文大纲 以下是本文大纲： 本文阅读前，需要对RabbitM
RabbitMq（四）延时队列，订单过期，取消支付场景
干饭两斤半
11-05 4486
延时队列RabbitMq延时队列实际应用场景基于死信队列的延时队列基于延时交换机的延时队列延时队列图解SpringBoot伪代码配置类生产者消息的TTL和队列的TTL总结 RabbitMq延时队列实际应用场景 比如，boss让你开发一个30分钟客户不付款就取消订单的场景； 如果在促销活动期间，肯定会有大量的未付款的订单数据，如果用轮训，或者是redis失效key来作为处理方案，肯定会被CTO骂死；因为，如果高频次轮训，虽然能保证比较及时的取消订单。但是无疑给系统造成了很大压力。如果用redis失效key来做
《RabbitMQ》| 解决消息延迟和堆积问题
Cbuc丶的博客
11-07 3279
大家好，我是小菜。 一个希望能够成为 吹着牛X谈架构 的男人！如果你也想成为我想成为的人，不然点个关注做个伴，让小菜不再孤单！ 本文主要介绍 RabbitMQ的常见问题 如有需要，可以参考 如有帮助，不忘 点赞 ❥ 微信公众号已开启，小菜良记，没关注的同学们记得关注哦！ 消息可靠性问题：如何确保发送的消息至少被消费一次？ 延迟消息问题：如何实现消息的延迟投递？ 消息堆积问题：如何解决数百万级以上消息堆积，无法及时消费问题？ 我们在上篇已经说明了如何解决消息丢失的问题，也就是保证了消息的可靠性，那么其
RabbitMQ重复消费
海的那边，还是海吗
09-12 6368
解决 RabbitMQ 重复消费问题是消息队列应用中非常重要的一部分。在实际应用中，可能会出现消费者因某种原因（例如网络问题、应用崩溃等）在处理消息时失败，然后重新开始处理相同的消息，导致消息的重复消费。为了解决这个问题，我们可以采用一些方法和策略来确保消息不会被重复消费。
【MQ】RabbitMQ 消息确认、堆积、丢失、重复消费等
keeper42的博客
03-22 7263
AMQP AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受中间件不同产品、不同的开发语言等条件的限制。Erlang中的实现有RabbitMQ等。 RabbitMQ 信道：信道是生产消费者与rabbit通信的渠道，生产者发布publish或是消费者订阅subscribe一个队列都是通过信道来通信的。信道是建立在TCP连接上的
RabbitMQ-死信队列-过期了的消息为什么不自动进入死信队列？
从码农到码到成功
03-20 1298
过期了的消息为什么不自动进入死信队列？ 结果如图：不管过去多长时间，第二条消息永远不会移至死信队列，因为判断过期时间在队列头部。因为消息1，没有被消费所以，队列判断不到消息2是否过期。是等消息到达队列顶部即将被消费时，才会判断其是否过期并删除或者移至死信队列。所以即使消息过期，也不会马上从队列中抹去。生产者代码：发送两个消息，将发送的第二条消息设置过期时间。
使用RabbitMQ完成延迟队列
xin670811的博客
11-30 806
使用RabbitMQ完成延迟队列
RabbitMQ消息队列(七)：过期时间TTL、死信队列、延迟队列、消息确认
fatestranger的博客
08-12 1784
当消息在一个队列中变成死信(dead message)之后，它能被重新发送到另一个交换机中，这个交换机就是 DLX ，绑定 DLX 的队列就称之为死信队列。DLX 也是一个正常的交换机，和一般的交换机没有区别，它能在任何的队列上被指定，实际上就是设置某一个队列的属性。当这个队列中存在死信时，Rabbitmq 就会自动地将这个消息重新发布到设置的 DLX 上去，进而被路由到另一个队列，即死信队列。过了之后消息将自动被删除。即在队列中指定延迟时间，当消息超过TTL转到死信队列时，死信队列再按照延迟处理消息。..
RabbitMQ，消费者获取correlationId或correlationIdString均为null的解决方案 + 源码层面解析
Unknownfuture的博客
08-10 2898
请留步 找这个问题的，估计很多人都是找的资料都是一样的，多个抄袭的网站都是下图的答案。 但实际操作就发现，这个代码是不全的，比如：this.buildMessage(content,correlationId.getId())，这个方法就是没附上的。直接黑人问号。 先下个结论：按照该网站的做法，还是无法解决问题 本文环境：springboot 1.5.8.RELEASE + amqp-client 4.0.3，后续版本可能修复。 原本没有指定version，但2020.8.10，尝试用了最新版本的amq
下面代码是什么意思：spring: rabbitmq: host: 139.155.130.194 port: 5672 virtual-host: / username: root password: 123456 listener: simple: prefetch: 1
07-14
- `spring.rabbitmq.listener.simple.prefetch`：配置RabbitMQ消费者的预取值，即每个消费者可以一次从队列中获取的消息数量。 以上是该配置文件中RabbitMQ相关属性的一部分，用于设置连接RabbitMQ服务器和消费者的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值