RabbitMQ系列之消费限流、TTL、死信队列、延迟队列

RabbitMQ高级特性

消费限流

什么是消费端限流

场景：

假设MQ服务器接收很多未处理的消息，这些消息会瞬间打在消费者客户端，当接收到如此巨量的消息客户端是无法处理的，所以就需要在MQ和消费者之间做个限流，在消费者进行消费时限制消费流量

解决方案：

RabbitMQ提供了一种qos（服务质量保证）功能，在非自动确认消息的前提下，设置channel或queue的预处理流量，进而来限流，方法如下：

void BasicQos（uint prefetchSize，ushort prefetchCount，bool global）；

参数说明：

prefetchSize：0

prefetchCount：最大消费个数，如channel或queue中已经有最大个数个消息，且未签收，则不会消费更多消息

global：是否将上面设置应用于channel，基本使用false

或者在application.yml中配置

代码配置

spring:
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: admin
    password: admin
    virtual-host: my_vhost
    listener:
      simple:
        prefetch: 1 # 预处理消息个数，即一次请求能处理多少条消息

TTL

TTL全称Time To Live(存活时间)

如果当前消息到达存活时间后，还没被消费则会被清除

RabbitMQ可以对消息设置过期时间，也可以对整个队列设置过期时间

队列过期时间

// 创建队列时设置队列过期时间
@Bean
public Queue topicQueue() {
    return QueueBuilder.nonDurable("topic_queue").ttl(1000).build();
}

消息过期时间

Message messageBody = new Message(message.getBytes());
// 设置消息参数
MessageProperties messageProperties = messageBody.getMessageProperties();
// 设置消息过期时间
messageProperties.setExpiration("5000");
rabbitTemplate.convertAndSend("topic_exchange", routing, messageBody);

总结：

• 当消息和队列都设置了过期时间，以时间短的为准
• 当队列过期时，整个队列中的消息都会被清除
• 当队列中有多条消息时，只会判断最顶端的消息是否过期

死信队列

死信队列，英文缩写：DLX，Dead Letter Exchange（死信交换机），当消息称为Dead message后，可以被重新发送到另外一个交换机，这个交换机就是DLX

消息称为死信的三种情况：

• 队列消息长度到达限制
• 消费者拒绝签收消息，并且requeue设置为false（不重回队列）
• 消息设置了过期时间，超过时间未被消费

设置死信交换机和死信队列，并绑定

// 死信交换机和死信队列并没有什么区别
@Bean
public Exchange topicExchangeDlx() {
    return ExchangeBuilder.topicExchange("topic_exchange_dlx").build();
}
@Bean
public Queue topicQueueDlx() {
     return QueueBuilder.nonDurable("topic_queue_dlx").build();
}
@Bean
    public Binding topicBindingDlx(@Qualifier("topicQueueDlx") Queue topicQueue, @Qualifier("topicExchangeDlx") Exchange topicExchange) {
        return BindingBuilder.bind(topicQueue).to(topicExchange).with("dlx_queue.#").noargs();
        // dlx_queue.#为路由规则
    }

给某队列绑定死信交换机

	@Bean
    public Queue topicQueue() {
        return QueueBuilder.nonDurable("topic_queue")
            	// 绑定死信交换机
                .deadLetterExchange("topic_exchange_dlx")
            	// 设置死信routingkey
                .deadLetterRoutingKey("dlx_queue.boot")
                .ttl(3000)
                .maxLength(2)
                .build();
    }

配置好上述代码，当队列topic_queue中存在死信的三种情况即过期、拒收、队列超长时，则会直接将消息放入到死信队列

总结：

• 死信交换机和死信队列和普通的没区别
• 当消息称为死信后，则会被死信交换机路由根据routingKey规则路由到对应的死信队列

延迟队列

延迟队列：消息到达队列后不会立即被消费，只有到达指定时间后，才会被消费

应用场景：

• 预定订单过期机制或类似场景

RabbitMQ实现延迟队列，TTL+死信队列

将普通队列消息设置30分钟过期时间，过期后就会被放入死信队列，然后业务系统只需要消费死信队列的消息即可

实现步骤

• 定义死信交换机和死信队列

• 定义普通交换机和普通队列并绑定死信交换机

• 设置消息过期时间为30分钟

• 监听死信队列并拿到消息做业务处理

以上步骤和死信队列代码类似，不重复写

日志与监控

消息追踪

RabbitMQ trace