RabbitMQ死信队列与延迟队列

墨子白

已于 2023-09-11 23:28:08 修改

阅读量650

点赞数

分类专栏： RabbitMQ 文章标签： rabbitmq 分布式

于 2023-09-11 21:46:36 首次发布

本文链接：https://blog.csdn.net/tszc95/article/details/132747976

版权

RabbitMQ 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

死信队列

死信队列的定义

死信队列（Dead Letter Queue）：死信队列是一种特殊的队列，用于存放不能被消费的消息。当消息满足某些条件时，比如消息过期、消息被拒绝消费或消息达到最大重试次数等，RabbitMQ 会将这些消息自动发送到死信队列中，以便后续处理。死信队列通常用于处理异常情况下的消息，例如重试机制、错误处理和日志记录等。我们可以设置交换机和队列的属性，将满足条件的消息转发到指定的死信队列中，然后在死信队列中进行后续处理。

死信队列的应用场景

RabbitMQ的死信队列提供了一种灵活和可靠的机制来处理无法被消费或需要特殊处理的消息，在以下几个常见应用场景中非常有用。

错误处理：当消息在消费过程中发生错误时，可以将错误消息发送到死信队列中，供后续进行错误处理、重试或记录日志等操作。这样可以避免消费者一直尝试处理无法成功的消息，提高系统的容错性和可靠性。
延迟消息：通过设置消息的过期时间，可以将消息发送到一个带有死信队列的普通队列中，从而实现延迟消息的功能。消息会在过期时间到达后自动转发到死信队列，然后消费者可以接收和处理这些延迟消息。这种方式可以用于实现定时任务、延时处理等需求。
优先级队列：通过设置队列和消息的优先级属性，可以在消费者处理消息时，优先处理具有较高优先级的消息。如果某个消息无法被及时处理，可以将其发送到死信队列中，以防止其他高优先级的消息被堵塞。
消息溢出保护：当队列的长度超过一定限制时，可以设置死信队列，将超出限制的消息转发到死信队列中，避免队列的无限增长。这有助于保护系统不会因为消息积压而崩溃或降低性能。
消息路由失败处理：当消息无法被正确路由到目标队列时，可以将其发送到死信队列中。这种情况通常发生在消息的路由键与已绑定的交换机和队列不匹配时，通过死信队列可以记录这些无法被路由的消息。

死信队列的作用

死信队列是一种用于处理消费者无法成功处理的消息的特殊队列。当消息不能被正常消费或处理时，它们会被发送到死信队列中，以便进行后续的处理或排查。以下是死信队列的几个作用：

保留失败消息：死信队列充当了一个缓冲区，用于存储那些无法被消费者成功处理的消息。这些消息可以被保留在队列中，以便稍后进行进一步的分析、排查和处理。
错误处理与重试：死信队列提供了一种机制来处理消费者无法处理的消息。当消息被发送到死信队列时，您可以检查并找出导致失败的原因。根据失败原因，您可以采取适当的措施，例如重新发送消息、修复消费者、调整处理逻辑等。
异常情况的监控和报警：死信队列可以帮助您监控系统中出现的异常情况。通过检查死信队列中的消息数量或频率，您可以识别出消费问题、性能问题或其他运行时异常，并及时采取措施来解决这些问题。您还可以设置报警规则，以便在死信队列中积累了过多的消息时获得通知。
分析和故障排除：死信队列存储了消费者无法成功处理的消息，这些消息可能包含了系统中的问题或异常情况。通过仔细分析死信消息，您可以识别出问题的根本原因，并采取相应的措施来修复系统或调整处理逻辑。

总之，死信队列是一种用于处理消费者无法处理的消息的机制。它提供了保留失败消息、错误处理与重试、异常监控与报警以及故障排除等功能，帮助保证消息处理的可靠性和系统的稳定性。

死信队列架构图

在这个架构图中，有以下组件：

Producer Application：消息生产者应用程序，发送消息到 RabbitMQ 中的 Exchange（交换机）A。
Exchange A：将收到的消息路由到 Queue Q。如果消息无法被路由，则将其发送到 Dead Letter Exchange B。
Queue Q：主要的消费者队列，负责接收和处理消息。如果消息无法被消费，则将其发送到 Dead Letter Exchange B。
Dead Letter Exchange B：其中一个交换机，负责将无法被消费的消息路由到 Dead Letter Queue D。
Consumer Application：消费者应用程序，从 Queue Q 接收消息进行消费。
Dead Letter Queue D：死信队列，用于存储无法被消费的消息。

总之，RabbitMQ 死信队列的架构允许开发人员使用 Exchange（交换机）来路由消息。当无法将消息路由到主要的消费者队列时，将其发送到死信交换机并路由到死信队列。这提供了一种强大的机制来处理异常情况，并避免消息丢失。

死信队列代码实现

以下是使用 Java 实现 RabbitMQ 死信队列的示例代码：

首先，我们需要添加 RabbitMQ 的 Java 客户端依赖。在 Maven 项目中，可以在 pom.xml 文件中添加以下依赖项：

<dependencies>
    <dependency>
        <groupId>com.rabbitmq</groupId>
        <artifactId>amqp-client</artifactId>
        <version>5.12.0</version>
    </dependency>
</dependencies>

然后，我们可以编写代码来创建死信交换机和队列：

import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

public class DeadLetterQueueExample {
    private static final String HOST = "localhost";
    private static final String DLX_EXCHANGE = "dlx_exchange";
    private static final String DLX_QUEUE = "dlx_queue";
    private static final String NORMAL_EXCHANGE = "normal_exchange";
    private static final String NORMAL_QUEUE = "normal_queue";

    public static void main(String[] args) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost(HOST);
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();

        // 创建死信交换机
        channel.exchangeDeclare(DLX_EXCHANGE, BuiltinExchangeType.DIRECT);

        // 创建死信队列
        channel.queueDeclare(DLX_QUEUE, true, false, false, null);

        // 将死信队列绑定到死信交换机
        channel.queueBind(DLX_QUEUE, DLX_EXCHANGE, "");

        // 创建普通交换机
        channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);

        // 创建普通队列，并指定死信交换机和队列
        Map<String, Object> arguments = new HashMap<>();
        arguments.put("x-dead-letter-exchange", DLX_EXCHANGE); // 将未消费的消息发送到死信交换机
        channel.queueDeclare(NORMAL_QUEUE, true, false, false, arguments);

        // 将普通队列绑定到普通交换机
        channel.queueBind(NORMAL_QUEUE, NORMAL_EXCHANGE, "");

        System.out.println("Waiting for messages...");

        // 定义消息处理函数
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            try {
                System.out.println("Received message: " + message);
                // 此处省略消息处理逻辑
                // 手动确认消息
                channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
            } catch (Exception e) {
                // 消息处理失败，将消息发送到死信交换机
                channel.basicPublish("", DLX_QUEUE, null, delivery.getBody());
            }
        };

        // 启动消费者，监听普通队列上的消息
        boolean autoAck = false; // 关闭自动确认模式
        channel.basicConsume(NORMAL_QUEUE, autoAck, deliverCallback, consumerTag -> {});

        // 等待消息处理完成
        Thread.sleep(10000);

        channel.close();
        connection.close();
    }
}

通过以上 Java 代码，我们可以实现一个基本的 RabbitMQ 死信队列。当普通队列上的消息无法被消费时，会被发送到死信交换机，并最终路由到死信队列。在这个示例中，我们使用 x-dead-letter-exchange 参数将未能成功消费的消息发送到死信交换机。

请注意，以上代码只是示例，需要根据实际需求进行适当修改和扩展。另外，确保已经添加了 RabbitMQ 的 Java 客户端依赖。

延迟队列

延迟队列的定义

延迟队列（Delayed Queues）：延迟队列允许消息在一定时间后才能被消费者接收和处理。与普通队列不同，延迟队列会在消息发送后暂时存储消息，直到设定的延迟时间过去后才将消息发送给消费者。 RabbitMQ 并没有内置的延迟队列机制，但我们可以通过插件或自定义实现来实现延迟队列。一种常见的实现方式是使用 RabbitMQ 的过期时间（TTL）和死信队列结合，将消息发送到带有延迟时间的队列中，然后在消息过期后自动转发到死信队列中，从而达到延迟队列的效果。

延迟队列的应用场景

RabbitMQ延迟队列可以提供灵活可靠的消息延迟处理功能，满足各种业务需求，具有以下几个常见的应用场景。

定时任务：延迟队列可以用于实现定时任务的调度。将需要延迟执行的任务消息发送到延迟队列中，并设置延迟时间。当延迟时间到达后，消息会被转发到指定的目标队列，然后被消费者获取和执行。这样可以很方便地实现各种定时任务，如定时发送提醒、定时数据备份等。
消息重试：延迟队列可以用于处理发送失败的消息的重试机制。当消息发送失败时，可以将消息发送到延迟队列，并设置一段延迟时间。如果在延迟时间内没有收到回应，那么消息会被转发到目标队列，并重新尝试处理。这样可以增加消息的可靠性，确保消息能够成功发送和处理。
订单超时处理：对于涉及订单的业务系统，延迟队列可以用于处理订单超时的情况。当订单创建后，可以将订单信息发送到延迟队列，并设置一个较长的延迟时间。如果在延迟时间内没有支付或完成相应操作，那么订单会被转发到指定的目标队列进行超时处理，比如取消订单、释放库存等。
流量控制：延迟队列可以用于实现流量控制机制。当系统负载过高或并发请求过多时，可以将部分请求消息发送到延迟队列，并设置一段延迟时间。这样可以通过延时来平滑系统负载，避免瞬时的高峰压力对系统造成影响。
消息分发调度：延迟队列可以用于实现消息的按时序分发和调度。例如，在社交媒体应用中，可以将用户发布的消息发送到延迟队列，并根据消息的发布时间设置不同的延迟时间。这样可以按照时间顺序逐个转发消息，确保消息按照正确的时间顺序进行处理和展示。

延迟队列的作用

延迟队列用于延迟处理消息，其作用是将消息延迟发送给接收方，以满足需要在一定时间之后执行某些操作的需求。以下是延迟队列的几个作用：

延迟任务调度：延迟队列可以用于任务调度，通过将任务消息放入延迟队列，并设置延迟时间，从而实现在指定时间后执行任务。这对于需要在未来某个时间点触发的操作非常有用，例如定时任务、定时提醒等。
消息重试与补偿：在一些情况下，当消息处理失败时，我们可能希望将消息重新发送给消费者或进行补偿操作。延迟队列可以用于设定一段延迟时间，在此时间内等待消费者重新可用，并将消息重新发送给消费者，以进行重试或补偿处理。
事件顺序控制：在某些场景中，消息的顺序非常重要。延迟队列可以根据消息的延迟时间，保证消息按照预期的顺序发送给消费者。这对于需要确保事件按照正确顺序处理的业务非常关键，如订单处理、任务流程控制等。
流量控制与防止系统过载：当系统的请求或消息量过大时，延迟队列可以帮助平衡流量，避免系统过载。通过设置适当的延迟时间，可以限制消息的处理速率，确保系统能够按照可承受的负载进行处理。

总之，延迟队列提供了一种机制，可以将消息在指定的延迟时间后发送给接收方。它适用于延迟任务调度、消息重试与补偿、事件顺序控制以及流量控制等场景，帮助满足业务需求并保证系统的可靠性。

延迟队列架构图

在这个架构图中，有以下组件：

Exchange：负责将消息路由到 Delay Queue。
Delay Queue：延迟队列，用于存储具有延迟时间的消息。它在一定的延迟时间后将消息转发到 Message Queue。
Message Queue (MQ)：正常的消息队列，负责接收和存储延迟队列转发过来的消息。
Consumer Application：消费者应用程序，从 Message Queue 接收消息进行消费。

实现 RabbitMQ 的延迟队列通常需要借助 RabbitMQ 的插件，例如 rabbitmq_delayed_message_exchange 插件。该插件提供了一个特殊的 Exchange 类型，能够将消息按照一定的延迟时间转发到指定的队列。

总之，RabbitMQ 延迟队列架构允许开发人员在消息被发送到消费者之前引入延迟。通过将消息先发送到延迟队列，然后根据延迟时间自动转发到消息队列中，可以实现灵活的延迟消息处理。这对于需要延迟处理的业务场景非常有用，例如订单超时取消、任务调度等。

延迟队列的代码实现

要实现 RabbitMQ 的延迟队列，我们可以结合使用 RabbitMQ 的插件 rabbitmq_delayed_message_exchange 和 Java 客户端来实现。以下是示例代码：

首先，确保已经安装并启用了 rabbitmq_delayed_message_exchange 插件。可以通过以下命令启用它：

rabbitmq-plugins enable rabbitmq_delayed_message_exchange

然后，在 Java 代码中使用延迟队列：

import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

public class DelayedQueueExample {
    private static final String HOST = "localhost";
    private static final String EXCHANGE_NAME = "delayed_exchange";
    private static final String QUEUE_NAME = "delayed_queue";
    private static final String ROUTING_KEY = "";

    public static void main(String[] args) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost(HOST);
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();

        // 创建延迟交换机，类型为 x-delayed-message
        Map<String, Object> arguments = new HashMap<>();
        arguments.put("x-delayed-type", "direct");
        channel.exchangeDeclare(EXCHANGE_NAME, "x-delayed-message", true, false, arguments);

        // 创建延迟队列
        channel.queueDeclare(QUEUE_NAME, true, false, false, null);

        // 将队列绑定到交换机
        channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, ROUTING_KEY);

        System.out.println("Waiting for messages...");

        // 定义消息处理函数
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println("Received message: " + message);
            // 手动确认消息
            channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
        };

        // 启动消费者，监听延迟队列上的消息
        boolean autoAck = false; // 关闭自动确认模式
        channel.basicConsume(QUEUE_NAME, autoAck, deliverCallback, consumerTag -> {});

        // 发布延迟消息
        publishDelayedMessage(channel, 5000, "Delayed Message 1"); // 延迟5秒
        publishDelayedMessage(channel, 10000, "Delayed Message 2"); // 延迟10秒

        Thread.sleep(15000); // 等待消息处理完成

        channel.close();
        connection.close();
    }

    private static void publishDelayedMessage(Channel channel, long delayMillis, String message) throws IOException {
        AMQP.BasicProperties properties = new AMQP.BasicProperties.Builder()
                .contentType("text/plain")
                .deliveryMode(2) // 持久化消息
                .headers(Map.of("x-delay", delayMillis)) // 设置延迟时间
                .build();

        channel.basicPublish(EXCHANGE_NAME, ROUTING_KEY, properties, message.getBytes("UTF-8"));

        System.out.println("Published delayed message: " + message);
    }
}

在上述示例中，我们创建了一个延迟交换机并绑定到一个延迟队列。然后，我们通过设置消息的 x-delay 头部属性来指定消息的延迟时间。在消息发布时，我们使用延迟时间发送消息到交换机，这样消息将会在指定的延迟时间后被路由到队列。消费者通过监听延迟队列来接收延迟消息。

更多消息资讯，请访问昂焱数据（https://www.ayshuju.com）

墨子白

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
RabbitMQ死信队列与延迟队列

延迟队列（Delayed Queues）：延迟队列允许消息在一定时间后才能被消费者接收和处理。与普通队列不同，延迟队列会在消息发送后暂时存储消息，直到设定的延迟时间过去后才将消息发送给消费者。RabbitMQ 并没有内置的延迟队列机制，但我们可以通过插件或自定义实现来实现延迟队列。一种常见的实现方式是使用 RabbitMQ 的过期时间（TTL）和死信队列结合，将消息发送到带有延迟时间的队列中，然后在消息过期后自动转发到死信队列中，从而达到延迟队列的效果。
复制链接

扫一扫