RabbitMQ延迟队列（Python版）

最新推荐文章于 2024-04-12 01:56:41 发布

Bge的博客

最新推荐文章于 2024-04-12 01:56:41 发布

阅读量1.6k

点赞数 1

分类专栏： Python 文章标签： RabbitMQ Python

本文链接：https://blog.csdn.net/weixin_43437629/article/details/87196729

版权

本文介绍了如何利用RabbitMQ的Time To Live(TTL)和Dead Letter Exchanges（DLX）特性实现延迟队列。通过设置Queue TTL，当消息过期后成为死信，再利用DLX转发到指定队列进行消费，达到延迟处理的效果。文中提供了Python代码示例，包括发布消息和消费者代码。

摘要由CSDN通过智能技术生成

欢迎访问个人博客
最近在做一任务时，遇到需要延迟处理的数据，最开始的做法是现将数据存储在数据库，然后写个脚本，隔五分钟扫描数据表再处理数据，实际效果并不好。因为系统本身一直在用RabbitMQ做异步处理任务的中间件，所以想到是否可以利用RabbitMQ实现延迟队列。功夫不负有心人，RabbitMQ虽然没有现成可用的延迟队列，但是可以利用其两个重要特性来实现之：1、Time To Live(TTL)消息超时机制；2、Dead Letter Exchanges（DLX）死信队列。下面将具体描述实现原理以及实现代码。

延迟队列的基础原理

Time To Live(TTL)

RabbitMQ可以针对Queue设置x-expires 或者针对Message设置 x-message-ttl，来控制消息的生存时间，如果超时(两者同时设置以最先到期的时间为准)，则消息变为dead letter(死信)
RabbitMQ消息的过期时间有两种方法设置。

通过队列（Queue）的属性设置，队列中所有的消息都有相同的过期时间。（本次延迟队列采用的方案）
对消息单独设置，每条消息TTL可以不同。

如果同时使用，则消息的过期时间以两者之间TTL较小的那个数值为准。消息在队列的生存时间一旦超过设置的TTL值，就成为死信（dead letter）

Dead Letter Exchanges（DLX）

RabbitMQ的Queue可以配置x-dead-letter-exchange 和x-dead-letter-routing-key（可选）两个参数，如果队列内出现了dead letter，则按照这两个参数重新路由转发到指定的队列。

x-dead-letter-exchange：出现死信（dead letter）之后将dead letter重新发送到指定exchange
x-dead-letter-routing-key：出现死信（dead letter）之后将dead letter重新按照指定的routing-key发送

队列中出现死信（dead letter）的情况有：

消息或者队列的TTL过期。（延迟队列利用的特性）
队列达到最大长度
消息被消费端拒绝（basic.reject or basic.nack）并且requeue=false

综合上面两个特性，将队列设置TTL规则，队列TTL过期后消息会变成死信，然后利用DLX特性将其转发到另外的队列就可以被重新消费，达到延迟消费效果。

延迟队列设计及实现（Python）

从上面描述，延迟队列的实现大致分为两步：

产生死信，有两种方式Per-Message TTL和 Queue TTL，因为我的需求中是所有的消息延迟处理时间相同，所以本实现中采用 Queue TTL设置队列的TTL，如果需要将队列中的消息设置不同的延迟处理时间，则设置Per-Message TTL（官方文档）
设置死信的转发规则,Dead Letter Exchanges设置方法（官方文档）
完整代码如下：

"""
Created on Fri Aug  3 17:00:44 2018

@author: Bge
"""
import pika,json,logging
class RabbitMQClient:
    def __init__(self, conn_str='amqp://user:pwd@host:port/%2F'):
        self.exchange_type = "direct"
        self.connection_string = conn_str
        self.connection = pika.BlockingConnection(pika.URLParameters(self.connection_string))
        self.channel = self.connection.channel()
        self._declare_retry_queue() #RetryQueue and RetryExchange
        logging.debug("connection established")
    def