MQ重复推消息问题

Run，boy

已于 2022-11-13 17:11:33 修改

阅读量1.2k

点赞数 4

分类专栏：《Bug记录》专栏文章标签： java

于 2022-11-13 17:10:30 首次发布

本文链接：https://blog.csdn.net/qq_39939541/article/details/127828207

版权

《Bug记录》专栏专栏收录该内容

6 篇文章 0 订阅

订阅专栏

博客讲述了在使用RocketMQ时遇到的消息重复推送问题，以及如何通过数据库主键和Redis来解决这个问题。首先，由于消息主键生成位置不当导致消息重复入库；然后将生成主键的逻辑移至生产者，但重复推送仍存在；最后，引入Redis的setIfAbsent方法，通过30s内的键存在性判断避免重复执行业务逻辑。

摘要由CSDN通过智能技术生成

记录一次生产事件

现象：放入消息队列的一条消息推送到了消费者的2个实例上，两条消息接收到消息的时间间隔在几毫秒之内（一共三个实例）

在测试环境中由于部署的服务是单个结点，投产时也没有准生产环境，导致，上了生产后，偶尔会出现消息重复推送问题。

项目当中使用的中间件是RocketMq，版本是4.7.1，部署方案是三主三从，一个服务有三个结点

1. 一开始，创建表的时候虽然加了消息主键作为唯一索引，但是生成主键的地方写在了消费者这边，导致MQ消费者这边收到了两条一样的消息还能正常入库。

2. 后来，把生成消息主键的地方放在了生产者那边，这样即使有两条消费者以后，第二条数据就通过数据库的主键索引给拦住了。

3. 但是，线上运行一段时间后，发现重复推送的情况还比较多，这样日志里面会有很多报重复主键插入失败的异常，不雅！！！

4. 最终引入Redis解决方案：

利用redis提供的setIfAbsent方法通过redis进行拦截如果30s内重复推送，则终止执行。

Boolean existKey = redisTemplate.opsForValue().setIfAbsent("msgId", "", 30, TimeUnit.SECONDS);
//如果redis中不存在msgId key则放入成功返回true,执行业务逻辑,否则终止。
if(!existKey){
    logger.error("mq重复推送请检查！！！");
    return;
}else{
    //执行业务逻辑......
}

不知道大家遇到过没！！！