RabbitMQ消息的重复消费问题如何解决？

最新推荐文章于 2025-05-11 23:21:12 发布

玄武后端技术栈

最新推荐文章于 2025-05-11 23:21:12 发布

阅读量452

点赞数 6

分类专栏： # RabbitMQ 文章标签： rabbitmq 分布式

本文链接：https://blog.csdn.net/weixin_44328487/article/details/147820784

版权

RabbitMQ 专栏收录该内容

8 篇文章

订阅专栏

在这里插入图片描述

在RabbitMQ中，消息重复消费是一个常见问题，它通常发生在消费者处理消息时出现网络波动、节点故障或消费者自身处理逻辑异常，ACK 失败等情况，都会导致RabbitMQ 不能够正确感知消息已被成功处理，从而重新投递消息。以下是几种常见的解决RabbitMQ消息重复消费问题的方法：

消息幂等性处理（业务上）

幂等性是指对同一操作的多次执行所产生的影响与一次执行的影响相同。在消息处理场景中，意味着无论消息被消费多少次，对业务的最终影响是一致的。
消费者在业务逻辑中通过记录已处理消息的标识来保证幂等性。比如维护一个内存中的Set集合，每次处理消息前，先检查消息的唯一标识是否已在集合中。如果已存在，则说明该消息已被处理过，直接返回；如果不存在，则处理消息并将标识添加到集合中。

public class MessageProcessor {
    // 已消费的消息
    private static final Set<String> processedMessages = new HashSet<>();

    public void processMessage(String messageId, String messageContent) {
        if (processedMessages.contains(messageId)) {
            // 消息已处理过，直接返回
            return;
        }
        // 处理消息
        System.out.println("处理消息：" + messageContent);
        // 将消息标识添加到已处理集合
        processedMessages.add(messageId);
    }
}

利用缓存（如Redis）来记录已处理消息的标识。每次消费消息时，先查询缓存中是否已存在该消息标识。如果存在，说明消息已被处理过，直接丢弃；如果不存在，则处理消息，并将消息标识存入缓存。缓存可以设置过期时间，以避免缓存数据无限增长。
或者建立消息去重表，将已经处理过的消息的唯一键记录在数据库，每次去数据库查询是否处理过此消息。

使用 RabbitMQ 的确认机制

RabbitMQ提供了两种确认机制，分别是自动确认（autoAck=true）和手动确认（autoAck=false）。自动确认模式下，RabbitMQ在消息发送给消费者后，会立即认为消息已被成功消费，这种模式可能导致消息重复消费。所以需要进行手动确认，消费者处理完消息后，需要显式地调用basicAck方法通知RabbitMQ消息已被成功处理。如果消费者在处理消息过程中出现异常或未发送basicAck，RabbitMQ会认为消息未被成功消费，从而重新投递消息。

public class ManualAckConsumer {
    private static final String QUEUE_NAME = "normal_ack_queue";

    public static void main(String[] argv) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();

        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
        // 设置为手动确认模式
        boolean autoAck = false;
        channel.basicConsume(QUEUE_NAME, autoAck, "normal-ack-consumer",
                false, false, null, new DefaultConsumer(channel) {
                    @Override
                    public void handleDelivery(String consumerTag,
                                               Envelope envelope,
                                               AMQP.BasicProperties properties,
                                               byte[] body) throws IOException {
                        String message = new String(body, "UTF - 8");
                        System.out.println(" [x] 收到消息: '" + message + "'");
                        try {
                            // 模拟消息处理
                            Thread.sleep(1000);
                            // 手动确认消息
                            channel.basicAck(envelope.getDeliveryTag(), false);
                            System.out.println(" [x] 消息确认成功");
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        }
                    }
                });
    }
}

使用 RabbitMQ 的 Message Deduplication 插件

在消息属性中增加唯一 ID，Message Deduplication 插件基于生产者发送消息时携带的唯一 ID，在 RabbitMQ 服务器端对消息进行去重处理。它会维护一个去重表（通常存储在内存或磁盘，取决于配置），记录已经处理过的消息 ID。当新消息到达时，插件会检查去重表，若发现消息 ID 已存在，则丢弃该消息；否则，将消息 ID 记录到去重表并正常处理消息。