RabbitMq 死信消息的过期时间的不同 会导致消费延时

最新推荐文章于 2023-10-27 11:05:54 发布
最新推荐文章于 2023-10-27 11:05:54 发布
阅读量1.7k 收藏 3
点赞数
分类专栏： rabbitmq 文章标签： java spring rabbitmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37801313/article/details/107084076
版权

业务需求是：消息7天过期。
概述：自测没问题发布了测试版本，为了测试方便将过期时间7天修改为10分钟。但是由于之前跑的测试数据中已经发送过过期时间为7天的消息，导致后续过期时间为10分钟的消息始终无法消费。

处理方式：
前往rabbitmq安装位置sbin 使用rabbtimqctl指令
rabbitmqctl常用命令

#未消费的消息数量
# ./rabbitmqctl list_queues
Listing queues
queue-question-expire   0
queue-question-expire-dl        32

#手动消费消息
# ./rabbitmqctl purge_queue queue-question-expire-dl
Purging queue 'queue-question-expire-dl' in vhost '/'

#手动消费后结果
# ./rabbitmqctl list_queues
Listing queues
queue-question-expire   0
queue-question-expire-dl        0

然后再发送的消息就可以正常消费了。

扩展：
这里其实官方网站有说明的
Doc: rabbitmq-TTL

Caveats
Queues that had a per-message TTL applied to them retroactively (when they already had messages) will discard the messages when specific events occur. Only when expired messages reach the head of a queue will they actually be discarded (or dead-lettered). Consumers will not have expired messages delivered to them. Keep in mind that there can be a natural race condition between message expiration and consumer delivery, e.g. a message can expire after it was written to the socket but before it has reached a consumer.
When setting per-message TTL expired messages can queue up behind non-expired ones until the latter are consumed or expired. Hence resources used by such expired messages will not be freed, and they will be counted in queue statistics (e.g. the number of messages in the queue).
When retroactively applying a per-message TTL policy, it is recommended to have consumers online to make sure the messages are discarded quicker.
Given this behaviour of per-message TTL settings on existing queues, when the need to delete messages to free up resources arises, queue TTL should be used instead (or queue purging, or queue deletion).

引用别人的翻译
https://blog.csdn.net/sinat_36553913/article/details/91351868

注意事项
当队列中已有消息，并设置消息的TTL，那么会追溯设置消息的有效期，当在特定情况下将会丢弃这些消息。只有当过期消息到达队列的头部时，它们才会被真实地丢弃(或死信路由)。消费者将不会接收到过期的消息，但是消息的传递和有效期有天然的竞争关系。比如，一个消息在被写入到socket但还未到达消费者时过期。

当设置了TTL过期时间的消息，可以在未过期消息后面排队，直到后者被消费或者过期。因此，被过期消息使用的资源并不会被释放，它们也会被队列的统计记入(比如，队列中消息的数量)。

当回溯地设置消息的TTL策略时，建议有消费者同时在线，可以保证消息的尽快丢弃。

考虑到给已存在的队列设置消息的TTL，来实现删除消息释放资源。设置队列的TTL（或队列清空，队列删除）应该替代这种方式

测试：
1.可以看出这次是正常发送，正常消费

rabbitMqSender.sendMsg("798", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 1 *1000);
rabbitMqSender.sendMsg("456", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 5 *1000);
rabbitMqSender.sendMsg("123", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 10 *1000);

消息发送时间：2020-07-02T15:03:34.036， 消息内容：798
消息发送时间：2020-07-02T15:03:34.039， 消息内容：456
消息发送时间：2020-07-02T15:03:34.039， 消息内容：123

2020-07-02 15:03:35.116  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:798 
2020-07-02 15:03:39.054  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:456 
2020-07-02 15:03:44.055  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:123

2.可以看出消息正常发出，但是过了10s同时被消费

rabbitMqSender.sendMsg("123", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 10 *1000);
rabbitMqSender.sendMsg("456", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 5 *1000);
rabbitMqSender.sendMsg("798", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 1 *1000);

2020-07-02 15:05:45.654  INFO 132 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:05:45.654， 消息内容：123
2020-07-02 15:05:45.655  INFO 132 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:05:45.655， 消息内容：456
2020-07-02 15:05:45.655  INFO 132 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:05:45.655， 消息内容：798

2020-07-02 15:05:55.665  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:123 
2020-07-02 15:05:55.666  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:456 
2020-07-02 15:05:55.666  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:798

3.可以看出过了5秒第一次被消费，再过5秒后后两条消息同时被消费

rabbitMqSender.sendMsg("456", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 5 *1000);
rabbitMqSender.sendMsg("123", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 10 *1000);
rabbitMqSender.sendMsg("798", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 1 *1000);

2020-07-02 15:11:26.929  INFO 11156 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:11:26.929， 消息内容：456
2020-07-02 15:11:26.931  INFO 11156 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:11:26.931， 消息内容：123
2020-07-02 15:11:26.931  INFO 11156 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:11:26.931， 消息内容：798

2020-07-02 15:11:31.928  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:456 
2020-07-02 15:11:36.946  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:123 
2020-07-02 15:11:36.947  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:798

4.可以看出过了5秒前两条消息同时被消费，再过了5秒最后一条消息被消费

rabbitMqSender.sendMsg("456", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 5 *1000);
rabbitMqSender.sendMsg("798", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 1 *1000);
rabbitMqSender.sendMsg("123", RabbitMqConfig.EXCHANGE_QUESTION_EXPIRE_DL, RabbitMqConfig.ROUTINGKEY_QUESTION_EXPIRE_DL, 10 *1000);

2020-07-02 15:12:27.818  INFO 10400 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:12:27.818， 消息内容：456
2020-07-02 15:12:27.821  INFO 10400 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:12:27.821， 消息内容：798
2020-07-02 15:12:27.821  INFO 10400 --- [           main] com.example.demo.sender.RabbitMqSender   : 消息发送时间：2020-07-02T15:12:27.821， 消息内容：123

2020-07-02 15:12:32.834  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:456 
2020-07-02 15:12:32.834  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:798 
2020-07-02 15:12:37.837  INFO 15856 --- [ntContainer#0-1] c.e.demo.listener.RabbitMqReceiver       : received msg:123

可以看出应该就是只有消息队列头的消息被消费后，过期的消息才会被消费。不过rabbitmq应该是有一些配置处理这种情况，待处理。

代码已上传git
https://github.com/emws/RabbitmqDemo.git

Emws
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Rabbit中的应答参数
qq_33759361的博客
06-21 202
RabbitMQ中的应答参数 生成者模式 在生产者模式中，不需要进行改动 import pika connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel() channel.queue_declare(queue='hello', durable=True, passive=True) channel.basic_publish(ex
消息队列RabbitMQ和ActiveMQ的生产者流量控制
chuanxinhu2060的博客
10-11 171
20120825 郑昀 Q：MQ 们为什么要做生产者流量控制？ A：麻烦就在于：『像 Erlang 的虚拟机实现和设计上都没有阻止用户往一个进程的消息队列里扔消息，当消息的生产速度过快，超过进程的处理能力时，这些消息就堆积起来，占用越来愈多的内存，最终导致VM崩溃。』 ...
RabbitMQ--过期时间TTL、死信队列、延迟队列和优先队列
吴声子夜歌的博客
05-16 1518
过期时间TTL TTL，Time to Live的简称，即过期时间。RabbitMQ 可以对消息和队列设置TTL。 设置消息的TTL： 目前有两种方法可以设置消息的TTL。 第一种方法是通过队列属性设置，队列中所有消息都有相同的过期时间。 第二种方法是对消息本身进行单独设置，每条消息的TTL可以不同。 如果两种方法一起使用，则消息的TTL以两者之间较小的那个数值为准。 消息在队列中的生存时间一旦超过设置的TTL值时，就会变成“死信”(DeadMessage)，消费者将无法再收到该消息(这点不是绝对的)。
RabbitMQ延迟消息
卑微的小白
10-27 1726
RabbitMQ中没有对消息延迟进行实现，但是我们可以通过TTL以及死信路由来实现消息延迟。 TTL（Time To Live 消息过期时间） 如果消息一直存放在队列中没有被消费并且超过了过期时间则消息将变成死信（Dead Message），后续将无法被消费。 消息成为死信的几种情况： 1、消息被Consumer拒收，并且reject方法里的参数requeue为false，则消息不会被重新放回队列，不会被其他消费者消费。 2、消息以及队列的过期时间到了 3、队列的长度满了，排在前面的消息会被丢弃或者扔到死信
RabbitMQ高级技巧——过期时间、死信队列
Java是世界上最好的语言
10-11 722
过期时间 在我们业务开发中有这样一个场景，如果一个订单30分钟未支付则移除该订单。这个场景就可以使用到消息队列中的过期时间来处理。 过期时间TTL表示可以对消息设置预期的时间，在这个时间内都可以被消费者接受获取；过了之后消息将自动被删除。 RabbitMQ可以对消息和队列设置TTL，目前有两种方式可以设置： ** 第一种方法是通过队列属性设置，队列中所有消息都有相同的过期时间。** 简单使用 首先创建工程，然后添加相关依赖即可。 编写RabbitMQ配置文件 @Configuration public
rabbitmq消息队列设置过期时间和过期消息处理
热门推荐
qq_3775566111的博客
03-31 1万+
rabbitmq消息队列设置过期时间和过期消息处理 适用场景 电商秒杀抢购活动中处理用户下单和付款时间不一致，设置过期时间，过期则不允许付款 参考 https://blog.csdn.net/zhu_tianwei/article/details/53563311 代码块 生产者 public class Producer { private stati...
RabbitMQ死信队列应用1
08-03
RabbitMQ死信队列（Dead Letter Exchange, DLX）是一种高级特性，用于处理那些无法正常处理或过期的消息。当消息在业务队列中处理失败，如因异常导致重试次数达到上限，就会变为死信。DLX允许将这些死信重新发布到另...
RabbitMQ延迟队列及消息延迟推送实现详解
08-25
延迟队列的实现方式有多种，例如，使用死信队列+TTL 过期时间来实现延迟队列，使用 RabbitMQ 官方提供的延迟队列插件等。每种方式都有其优缺点，需要根据实际情况选择合适的方式。 在使用 RabbitMQ 实现延迟队列时...
Rabbitmq延迟队列实现定时任务的方法
08-27
当我们发送一条消息到 RabbitMQ 中时，我们可以设置该消息的 TTL，这样在该时间点到达时，该消息将被视为死信并被存储在死信交换机中。然后，我们可以创建一个队列来处理这些死信，例如，可以创建一个名为 delay_...
rabbitmq基础入门
04-01
延时队列则用于处理需要在特定时间后处理的消息，RabbitMQ可以通过插件实现这一功能。 在实际应用中，RabbitMQ常与SpringBoot框架整合，通过添加相关依赖、配置文件和编写生产者、消费者代码，实现消息的发送和接收...
rabbitmq 消息过期时间的设置
qq_45549245的博客
02-07 951
rabbitmq 设置消息过期时间 设置到queue上 不能设置到message上 原因设置到消息上的时候会有lazy check的机制 导致message expire 分别为 1s 30s 300s 在queue中的排列为（1, 30, 300） rabbitmq 会先检查 排在queue前面的消息 只有300s的msg，时间到期后，变为dead letter 出队列 才会检查后面的msg 发现时间早已过期，出队列 所以这时后面msg的expire time 没有生效 ...
RabbitMQ 高级特性——过期时间加死信队列实现延迟队列
cj_eryue的博客
01-27 846
目录 1.过期时间 TTL 2.死信队列/死信交换机 2.1过期消息 2.2 消息数量达到最大限制 2.3 消费者拒收消息 3.延迟队列（重点） 1.过期时间 TTL TTL：time to live（存活时间/过期时间） 当消息到达存活时间后，还没有被消费，就会被自动清除； 过期时间可以对整队列设置，也可以对消息单独进行设置（如果同时设置了队列和消息的过期时间，以时间短的为准，队列过期时间到了之后，会将消息都移除 消息到达过期时间之后，只有在队列顶端的消息，才会判断是否需要移除（..
延迟启动rabbitmq,动态停止或启动消费
duanyuanjun的博客
01-13 1233
延迟启动rabbitmq,动态停止或启动消费
SpringBoot(44) RabbitMQ实现延时消费
郑清
10-15 1146
文章目录一、前言二、RabbitMQ实现延时消费区别法一：`TTL`+`DLX`法二：MQ插件`rabbitmq-delayed-message-exchange`docker-compose部署rabbitmq并安装延时插件编写代码三、测试本文案例demo源码 一、前言 本文将基于springboot2.4.0+rabbitmq来简单实现延时消费 场景举例：用户在商城购买商品提交订单支付的时候，假如有个30分钟内未支付订单则取消订单操作，这个时候我们就可以使用mq的延时消费来解决这一问题。 温馨小提示：
一文搞懂 RabbitMQ 延时队列（订单定时取消为例）
个人站点：javatv.net
02-24 5887
1. 死信及死信队列 1.1 什么是死信 一般来说，生产者将消息投递到队列中，消费者从队列取出消息进行消费，但某些时候由于特定的原因导致队列中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信(Dead Letter)，所有的死信都会放到死信队列中。 为什么为有死信？消息变成死信一般是以下三种情况： 消息被拒绝，即basicReject/basicNack，并且设置 requeue 参数为 false，这种情况一般消息丢失 。 消息过期（TTL），TTL全称为Time-To-Live，表示的
rabbitmq如何暂停消费_RabbitMQ如何高效的消费消息
weixin_30404433的博客
01-14 2315
在上篇介绍了如何简单的发送一个消息队列之后，我们本篇来看下RabbitMQ的另外一种模式，工作队列。什么是工作队列我们上篇文章说的是，一个生产者生产了消息被一个消费者消费了，如下图上面这种简单的消息队列确实可以处理我们的任务，但是当我们队列中的任务过多，处理每条任务有需要很长的耗时，那么使用一个消费者处理消息显然不不够的，所以我们可以增加消费者，来共享消息队列中的消息，进行任务处理。也就...
RabbitMQ堵塞问题复盘
最新发布
吴书松's blog
10-27 2038
记一次线上RabbitMQ的堵塞问题
RabbitMQ设置消息和队列过期时间（五）
qq_25453181的博客
07-29 3210
设置消息过期时间 RabbitMQ设置消息的过期时间有两种方式：在队列设置所有消息的过期时间；发送消息的时候设置单个消息的过期时间，每条消息的TTL可以不同。如果两种方式同时使用则以最小时间为准。 通过队列设置TTL 通过队列设置消息TTL的方法时在channel.queueDeclare的时候添加x-message-ttl参数实现，单位毫秒。 Map<String,Object> map = new HashMap&lt...
rabbitmq 死信队列 延时队列
06-09
RabbitMQ死信队列和延时队列是RabbitMQ的两个重要特性，它们的功能分别如下： 1. 死信队列（Dead Letter Queue，DLQ）：当消息在队列中被拒绝或者过期时，可以将这些消息发送到死信队列中，以便重新处理或者分析。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值