如何保证消息的幂等和100%投递成功？

一、如何保障消息100%投递成功？

生成端的可靠性投递

1.消息的成功发送 -> 2.MQ 节点的成功接收 -> 3. 发送端收到 MQ 节点（Broker）确认应答 -> 4. 完善消息进行补偿机制

可靠性投递解决方案

• 消息落库，对消息状态进行打标
• 消息的延迟投递，做二次确认，回调检查

消息落库

延迟投递

二、如何保证消息的幂等性？

什么是消息幂等

在数学与计算机学中，幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。在消息领域，幂等是指Consumer重复消费某条消息时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响。

例如，在支付场景下，Consumer消费扣款消息，对一笔订单执行扣款操作，扣款金额为100元。如果因网络不稳定等原因导致扣款消息重复投递，Consumer重复消费了该扣款消息，但最终的业务结果是只扣款一次，扣费100元，且用户的扣款记录中对应的订单只有一条扣款流水，不会多次扣除费用。那么这次扣款操作是符合要求的，整个消费过程实现了消息幂等。

MQ幂等性如何保证？

我们所熟悉的RabbitMQ、RocketMQ、kafka，都有可能出现消息的重复发送，这个是MQ无法保障的。但是我们又不能在系统中去重复消费消息，那么就需要我们开发人员去保证消息的幂等性。

什么情况下会出现非幂等消息？

• 生产者重复发消息给MQ（生产端）

  生成者把消息发送给MQ之后，MQ收到消息在给生产者返回ack的时候，网络中断了。这时MQ明明已经接收到了消息，但是生产者没接收到确定消息，就会认为MQ没有接收到消息。因此，在网络重新连接后，生产者会把已经发送的消息再次发送到MQ，如果MQ没有去重措施的话，那么就接收到了重复的消息。

• MQ重复发送消息给消费者（消费端）

  消费者从MQ中拉取消息进行消费，当消费者已经消费了消息但还没向MQ返回ack的时候，消费者宕机或者网络断开了。所以消费者成功消费了消息的情况，MQ并不知道。当消费者重启或网络重连后，消费者再次去请求MQ拉取消息的时候，MQ会把已经消费的消息再次发送给消费者，如果消费者没有去重就直接消费，那么就会造成重复消费的情况。便会造成数据的不一致。

---

比如我们执行一条更新库存的 SQL 语句（乐观锁）

update T_REPS set count = count - 1,version = version + 1 where version = 1
复制代码

第一步，查出 version，第二步，通过这个 version 进行更新，这样可实现幂等性保障。

在海量订单产生的业务高峰期，如何避免消息的重复消费？

• 解决方法：消息端需要实现幂等性，这就意味着，我们的消息永远不会被消费多次，即使受到多条一样的消息。

业界主流的幂等性决方案主要有两种：

1. 唯一 ID + 指纹码机制：利用数据库的主键去重

指纹码： 为什么需要指纹码呢？主要是用来应对用户在一瞬间的频繁操作，这个指纹码可能是我们外部自定义的一些规则来实现，比如：时间戳 + 具体的信息码，主要是用来保证这次操作的绝对唯一。

select count(1) from tb_order where ID = 唯一ID + 指纹码
复制代码

优点： 实现简单，通过简单的拼接，然后通过查询判断是否重复。

缺点： 在高并发情景下，数据库写入会出现性能瓶颈。

解决方案： 根据 ID 进行分库分表，对 id 进行算法路由，落到一个具体的数据库，然后当这个 id 第二次来又会落到这个数据库，这时候就像我单库时的查重一样了。利用算法路由把单库的幂等变成多库的幂等，分摊数据流量压力，提高性能。

2. 利用 Redis 的原子性去实现

我们都知道 Redis 是单线程的，并且性能也非常好，redis 提供了很多原子性操作，比如 setnx 命令，在接收到消息后将消息 ID 作为 key 执行 setnx 命令，如果执行成功就表示没有处理过这条消息，可以进行消费了，执行失败表示消息已经被消费了。

使用 redis 的原子性去实现主要需要考虑两个点：

第一：业务是否需要进行数据落库，如果落库的话，那么关键的解决的问题是数据库和缓存如何做到原子性？我们都知道 redis 是单线程的，并且性能也非常好，提供了很多原子性的命令。比如可以使用 setnx 命令，让生产者发送消息时，每条消息加一个全局的唯一id，然后消费时，将该id保存到redis里面。消费时先去redis里面查一下有么有，没有再消费。（其实原理跟第一点差不多）。

第二：如果不进行落库，那么都存储到缓存中，如何设置定时同步的策略 (同步到关系型数据库)？缓存又如何做到数据可靠性保障呢？

采用延迟双删策略

三、Confirm 消息确认机制

消息的确认是指生产者投递消息后，如果 Broker 收到消息，则会给生产者一个应答；

生产者接收应答，用户来确定这条消息是否正常的发送到了 Broker，这种消息确认机制是消息可靠性投递的核心保障。

实现步骤

第一步：在 channel 上开启确认模式：channel.confirmSelect ()

第二步：在 channel 上添加监听：addConfirmListener，监听成功和失败返回结果，根据具体的结果对消息进程重新发送，或者记录日志等后出处理。

代码示例🍉

Producer

package com.example.mq.confirm;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.ConfirmListener;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.TimeoutException;

/**
 * @Author 林必昭
 * @Date 2022/05/07 10:22
 * @descr
 */
public class Producer {

    public static void main(String[] args) throws IOException, TimeoutException {
        //1.创建ConnectionFactory
        ConnectionFactory factory= new ConnectionFactory();
        factory.setHost("localhost");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        //2.获取Connection
        Connection connection = factory.newConnection();
        //3.通过Connection创建一个新的channel
        Channel channel = connection.createChannel();
        //4.指定消息的投递模式：消息的确认模式
        channel.confirmSelect();
        String exchangeName = "test_confirm_name";
        String routingKey = "confirm.save";
        //5.发送一条消息
        String msg = "Hello RabbitMQ Send Confirm Message!";
        channel.basicPublish(exchangeName,routingKey,null,msg.getBytes(StandardCharsets.UTF_8));
        //6.添加一个确认监听
        channel.addConfirmListener(new ConfirmListener() {

            /**
             * 成功响应的处理方法
             * @param deliveryTag   消息投递的唯一标签
             * @param multiple      是否是批量消息
             * @throws IOException
             */
            @Override
            public void handleAck(long deliveryTag, boolean multiple) throws IOException {
                System.out.println("--------消费端响应ack!---------");
            }

            /**
             * 失败的处理方法
             */
            @Override
            public void handleNack(long deliveryTag, boolean multiple) throws IOException {
                System.out.println("-------------no ack!-------------");
            }
        });
    }
}
复制代码

Concumer

package com.example.mq.confirm;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

/**
 * @Author 林必昭
 * @Date 2022/05/1 13:37
 * @descr
 */
public class Consumer {

    public static void main(String[] args) throws IOException, TimeoutException, InterruptedException {
        //1.创建ConnectionFactory
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        //2.获取Connection
        Connection connection = factory.newConnection();
        //3.通过Connection创建一个新的channel
        Channel channel = connection.createChannel();

        String exchangeName = "test_confirm_name";
        String queueName = "test_queue_name";
        String routingKey = "confirm.#";

        //4.声明交换机和队列 然后进行绑定，最后指定路由键
        channel.exchangeDeclare(exchangeName, "topic", true);
        channel.queueDeclare(queueName, true, false, false, null);
        channel.queueBind(queueName, exchangeName, routingKey);

        //5.创建消费者
        while (true) {
            DeliverCallback deliverCallback = (consumerTag, delivery) -> {
                String message = new String(delivery.getBody(), "UTF-8");
                System.out.println(" [消费者] 接收到了: '" + message + "'");
            };
            channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
            });
        }
    }
}
复制代码

启动 RabbitMQ Service，运行 Consumer 和 Producer，观察控制台打印：

接着启动 Producer，发现消费端收到的生产者投递的消息：

观察生产者，返回了消费者的确认消费信息：

通过上面的演示，我们完整的实现了Confirm消息确认机制，通过该篇文章，主要从不同角度分析了：如何保障消息100%投递成功、如何保证消息的幂等性、消息的确认机制的实现方式，以上即是文章的全部内容。