唠一唠消息可靠性保障&&消息幂等性处理 (RabbitMQ实际应用问题)

阿千弟

已于 2022-11-15 00:43:55 修改

阅读量792

点赞数 2

分类专栏： RabbitMQ进阶文章标签： java-rabbitmq rabbitmq 面试

于 2022-11-06 17:49:51 首次发布

本文链接：https://blog.csdn.net/qq_51033936/article/details/127707792

版权

RabbitMQ进阶专栏收录该内容

4 篇文章 3 订阅

订阅专栏

♨️本篇文章记录的为RabbitMQ知识中企业级项目中消息可靠性保障相关内容，适合在学Java的小白,帮助新手快速上手,也适合复习中，面试中的大佬🙉🙉🙉。
♨️如果文章有什么需要改进的地方还请大佬不吝赐教❤️🧡💛

💖个人主页 : 阿千弟
💖点击这里👉👉👉: RabbitMQ专栏学习

今天我们来唠一唠RabbitMQ的相关应用问题, 这在我们设计消息投递方案以及在今后的面试中也是会经常遇到, 今天就对这消息可靠性保障和消息幂等性处理两个问题进行分析, 对此疏漏以及不正确的部分也欢迎大佬们指出

文章目录

消息可靠性保障

提出需求：如何能够保证消息的 100% 发送成功？

首先大家要明确任何一个系统都不能保证消息的 100% 投递成功，我们是可以保证消息以最高最可靠的发送给目标方。

在RabbitMQ中采用 消息补充机制 来保证消息的可靠性

咱们先来看这张图

在这里插入图片描述
参与部分：消息生产者、消息消费者、数据库、三个队列（Q1、Q2、Q3）、交换机、回调检查服务、定时检查服务

消息的生产者将业务数据存到数据库中
发送消息给队列Q1
消息的生产者等待一定的时间后，在发送一个延迟消息给队列 Q3
消息的消费方监听 Q1 队列消息，成功接收后
消息的消费方会发送一条确认消息给队列Q2
回调检查服务监听队列Q2 发送的确认消息
回调检查服务接收到确认消息后，将消息写入到消息的数据库表中
回调检查服务同时也会监听队列Q3延迟消息，如果接收到消息会和数据库比对消息的唯一标识
如果发现没有接收到确认消息，那么回调检查服务就会远程调用消息生产者，重新发送消息
重新执行 2-7 步骤，保证消息的可靠性传输
如果发送消息和延迟消息都出现异常，定时检查服务会监控消息库中的消息数据，如果发现不一致的消息然后远程调用消息的生产者重新发送消息。

消息幂等性处理

幂等性指一次和多次请求某一个资源，对于资源本身应该具有同样的结果。也就是说，其任意多次执行对资源本身所产生的影响均与一次执行的影响相同。
在MQ中指，消费多条相同的消息，得到与消费该消息一次相同的结果。

场景：消费端成功消费信息，但是在ack时发生网络抖动等原因，导致消息已被消费掉，然而还存在于队列当中。

1. 乐观锁机制保证消息的幂等操作

2. 唯一ID + 指纹码机制

大家肯定懂唯一 ID 的，就不多说了，为什么需要指纹码呢？这是为了应对用户在一瞬间的频繁操作，这个指纹码可能是我们的一些规则或者时间戳加别的服务给到的唯一信息码，它并不一定是我们系统生成的，基本都是由我们的业务规则拼接而来，但是一定要保证唯一性，然后就利用查询语句进行判断这个id是否存在数据库中。

好处就是实现简单，就一个拼接，然后查询判断是否重复。

坏处就是在高并发时，如果是单个数据库就会有写入性能瓶颈

解决方案 ：根据 ID 进行分库分表，对 id 进行算法路由，落到一个具体的数据库，然后当这个 id 第二次来又会落到这个数据库，这时候就像我单库时的查重一样了。利用算法路由把单库的幂等变成多库的幂等，分摊数据流量压力，提高性能。

@RabbitListener(queues = RabbitMQConfig.ORDER_CREATE_QUEUE)
    public void createOrderListener(OrderInfoIn orderInfoIn,Message message, Channel channel) throws CommonRuntimeException, IOException {
        //消息生产端加入雪花算法
        //消费端消费前先验证该消息是否被消费
        String messageId = (String)redisTemplate.opsForValue().get(orderInfoIn.getMessageId().toString());
        if(messageId == null){//保证冥等性
            try {
                //创建订单
                redisTemplate.opsForValue().set(orderInfoIn.getMessageId().toString(), "ack");
                //成功消费
                channel.basicAck(message.getMessageProperties().getDeliveryTag(),false);
 
            } catch (Exception e){
                logger.error("消费创建订单消息失败【】error："+ message.getBody());
                logger.error("OrderConsumer  handleMessage {} , error:",message,e);
                //处理消息失败，将消息重新放回队列
                channel.basicNack(message.getMessageProperties().getDeliveryTag(), false,true);
            }
        }else{
            //已消费
            channel.basicAck(message.getMessageProperties().getDeliveryTag(),false);
        }
 
    }

3. 利用Redis的原子性去实现 (Lua脚本)

一些刚接触java的同学可能对幂等性不太清楚。幂等性就是重复消费造成结果不一致。为了保证幂等性，因此消费者消费消息只能消费一次消息。我么可以是用全局的消息id来控制幂等性。当消息被消费了之后我们可以选择缓存保存这个消息id，然后当再次消费的时候，我们可以查询缓存，如果存在这个消息id，我们就不错处理直接return即可。先改造生产者代码，在消息中添加消息id

可以使用这两个命令

sadd 向集合添加一个或多个成员
用法 SADD key value

sismember 判断member是否是set中的成员
用法 sismember key member

sadd key member [member...] : 添加set集合的member
127.0.0.1:6379> sadd set1 value1 value2 value3
(integer) 3
127.0.0.1:6379> sismember set1 value1
(integer) 1
127.0.0.1:6379> sismember set1 value4
(integer) 0

lua脚本中可以这样

local messageId = ARGV[1]
local messageKey = 'messageConfirm:' .. messageId
-- 1.判断消息是否被消费 SISMEMBER messageKey messageId
if(redis.call('sismember', messageKey, messageId) == 1) then
    -- 3.3.存在，说明是重复消费，返回1
    return 0
end
-- 2.重未被消费过（保存消息id）sadd messageKey messageId
redis.call('sadd', messageKey, messageId)
	return 1