RocketMQ消息丢失场景及解决办法

最新推荐文章于 2024-05-15 04:52:44 发布
最新推荐文章于 2024-05-15 04:52:44 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： java分享 实训课
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bishe_teacher/article/details/108194079
版权
本文详细分析了RocketMQ中可能出现的消息丢失场景，并提出了相应的解决办法，包括使用事务机制确保生产者发送消息的安全，设置同步刷盘策略防止消息未持久化，以及在消费者端正确处理消息确认，以达到消息零丢失的目标。同时，提醒注意性能和吞吐量的牺牲。
摘要由CSDN通过智能技术生成

RocketMQ消息丢失场景及解决办法

既然使用在项目中使用了MQ，那么就不可避免的需要考虑消息丢失问题。在一些涉及到了金钱交易的场景下，消息丢失还是很致命的。那么在RocketMQ中存在哪几种消息丢失的场景呢？

先来一张最简单的消费流程图：

在这里插入图片描述

上图中大致包含了这么几种场景：

生产者产生消息发送给RocketMQ

RocketMQ接收到了消息之后，必然需要存到磁盘中，否则断电或宕机之后会造成数据的丢失

消费者从RocketMQ中获取消息消费，消费成功之后，整个流程结束

这三种场景都可能会产生消息的丢失，如下图所示：

在这里插入图片描述

1、场景1中生产者将消息发送给Rocket MQ的时候，如果出现了网络抖动或者通信异常等问题，消息就有可能会丢失

2、场景2中消息需要持久化到磁盘中，这时会有两种情况导致消息丢失

RocketMQ为了减少磁盘的IO，会先将消息写入到os cache中，而不是直接写入到磁盘中，消费者从os cache中获取消息类似于直接从内存中获取消息，速度更快，过一段时间会由os线程异步的将消息刷入磁盘中，此时才算真正完成了消息的持久化。在这个过程中，如果消息还没有完成异步刷盘，RocketMQ中的Broker宕机的

最低0.47元/天 解锁文章
bishe_teacher
关注
专栏目录
RocketMQ学习笔记（三）——消息丢失的场景及解决方案
三3三的博客
09-15 6328
RocketMQ消息丢失的场景及解决方案
RocketMQ消息丢失场景及解决办法_rocketmq如何处理消息丢失
最新发布
2401_87021021的博客
09-07 364
如果消费者还没有返回CONSUME_SUCCESS时就宕机了，那么RocketMQ就会认为你这个消费者节点挂掉了，会自动故障转移，将消息交给消费者组的其他消费者去消费这个消息，保证消息不会丢失。只有返回了CONSUME_SUCCESS，消费者才会告诉RocketMQ我已经消费完了，此时如果消费者宕机，消息已经处理完了，也就不会丢失消息了。如果新开子线程异步处理消息的话，就有可能出现消息还没有被消费完，消费者告诉RocketMQ消息已经被消费了，结果宕机丢失消息的情况。那么如何保证消息的零丢失呢？
RocketMQ 消息丢失问题排查记录
随便写写
09-28 1826
在研究 rocketmq-spring-boot-starter 代码后，发现创建消费者连接有两种方式，一种是代码里实现 RocketMQListener 接口，另外一种是在配置文件中添加订阅信息。在项目中使用的 RocketMQ 版本是 4.9.2，rocketmq-spring-boot-starter 版本是 2.2.2，消息处理逻辑也不复杂，直接引用依赖，然后创建监听器。然后查看用户代码，很明显，代码里在两个地方都加了相同主题、相同订阅组信息，因此消费者连接数就是 2。● 消息被其他客户端接收。
19.RocketMQ之消息丢失的场景以及解决方案
qq_30635523的博客
06-29 2888
highlight: arduino-light 如果我们的项目中引入了MQ，势必要面对的一个问题，就是消息丢失问题，今天我们就来聊聊消息是怎么丢失的。 现在假设我们的业务是这样的，用户通过订单系统下了一个订单，订单系统完成支付扣减余额后会发送消息给RocketMQ，然后积分系统会从RocketMQ中消费消息，去给用户增加积分。 但是突然有一天有用户反映，支付订单扣减余额之后，自己的积分...
RocketMQ消息丢失场景及解决办法，前端敏捷开发
m0_63102527的博客
03-18 1016
面试题千万不要死记，一定要自己理解，用自己的方式表达出来，在这里预祝各位成功拿下自己心仪的offer。开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】[外链图片转存中…(img-NKxBW9NF-1710691952164)]
RocketMQ消息丢失场景及解决办法(3)
2401_84009549的博客
04-18 693
那么如何保证消息的零丢失呢？//注册消息监听器处理消息@Override//对消息进行处理});上面这段代码中，RocketMQ在消费者中注册了一个监听器，当消费者获取到了消息，就会去回调这个监听器函数，去处理里面的消息当你的消息处理完毕之后，才会返回ConsumeConcurrentlyStatus.CONSUME_SUCCESS只有返回了CONSUME_SUCCESS，消费者才会告诉RocketMQ我已经消费完了，此时如果消费者宕机，消息已经处理完了，也就不会丢失消息了。
2024年最全RocketMQ消息丢失场景及解决办法_rocketmq如何处理消息丢失(1)，Jetpack-MVVM-高频提问和解答
2401_84911322的博客
05-15 894
如果消费者还没有返回CONSUME_SUCCESS时就宕机了，那么RocketMQ就会认为你这个消费者节点挂掉了，会自动故障转移，将消息交给消费者组的其他消费者去消费这个消息，保证消息不会丢失。只有返回了CONSUME_SUCCESS，消费者才会告诉RocketMQ我已经消费完了，此时如果消费者宕机，消息已经处理完了，也就不会丢失消息了。上面这段代码中，RocketMQ在消费者中注册了一个监听器，当消费者获取到了消息，就会去回调这个监听器函数，去处理里面的消息。那么如何保证消息的零丢失呢？
springboot Rabbit死信队列实现，rocketMq重试消息实现
03-20
springboot Rabbit死信队列实现，rocketMq重试消息实现 基于springboot2.15版本，最新rabbit和rocktMq 中间件实例，亲测可用
MQ几百万数据没有消费怎么办---实战教你解决
热门推荐
码上代码的博客
01-27 2万+
领导说马上给解决方案 其实本质针对的场景，都是说，可能你的消费端出了问题，不消费了；或者消费的速度极其慢。接着就坑爹了，可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？或者是这整个就积压了几个小时，你这个时候怎么办？或者是你积压的时间太长了，导致比如 RabbitMQ 设置了消息过期时间后就没了怎么办？ 所以就这事儿，其实线上挺常见的，一般不出，一出就是大 case。一般常见于，举个例子，消费端每次消费之后要写 mysql，结果 mysql 挂了，消费端 hang 那儿了，不动了；或者是消
深度挖掘RocketMQ底层那些导致消息丢失的汇总透析（TIMEOUT_CLEAN_QUEUE）
Java技术攻略的博客
03-15 927
问题引发原因针对之前的两篇文章中所出现的 [XXX - broker busy] 问题主要是由于Broker在追加消息时持有的锁时间超过了阈值（默认为1s），Broker为了自我保护，会实现快速失败->抛出错误，客户端会选择其他Broker服务器进行重试。之前方案的解决手段除非是银行或金融级的业务服务，否则个人建议将，可以有效缓解和避免之前的问题。方案运行原理。
RocketMQ常见问题及实现分布式事务时注意事项
旺仔的博客
03-13 3366
RocketMQ常见问题及实现分布式事务时注意事项RocketMQ常见的一些疑问或问题1、如何防止消息丢失的问题2、如何防止消息的重复消费问题(幂等性问题)3、消息如何保证消费顺序的问题4、消息积压、阻塞怎么解决?5、如何保证消息不会丢失RocketMQ实现分布式事务时注意事项1、MQ半消息回查，若得不到该消息是提交还是回滚，会一直隔一段时间就查询一次吗？1、二阶段异常，需要回滚怎么处理？2、消费者消费失败后，会重试吗，多次重试后还是失败会怎么样？ RocketMQ常见的一些疑问或问题 1、如何防止消息丢失
2024年RocketMQ消息丢失场景及解决办法_rocketmq如何处理消息丢失，2024年最新入职阿里啦
2401_84910911的博客
05-14 603
如果消费者还没有返回CONSUME_SUCCESS时就宕机了，那么RocketMQ就会认为你这个消费者节点挂掉了，会自动故障转移，将消息交给消费者组的其他消费者去消费这个消息，保证消息不会丢失。只有返回了CONSUME_SUCCESS，消费者才会告诉RocketMQ我已经消费完了，此时如果消费者宕机，消息已经处理完了，也就不会丢失消息了。上面这段代码中，RocketMQ在消费者中注册了一个监听器，当消费者获取到了消息，就会去回调这个监听器函数，去处理里面的消息。那么如何保证消息的零丢失呢？
RocketMQ无法消费消息问题的排查（获取不到消费组信息导致）
snail-jie的博客
11-18 1万+
问题描述 在生产服务器搭了一套rocketmq环境，在生产服务器上能测试发送和接受消息都正常，并且观察namesrv和broker的日志，都没有发现异常日志。但就是在本地无法消费，网络是通的（ping和telnet都成功） 跟进问题总结 在跟代码发现订阅主题下的消费组的客户端数为空（为什么呢？） 1.1 观察消费端是否有下面的日志if (null == cidAll) { log.warn("doRebalance, {} {}, get consumer id list failed", cons
rocketmq消息丢失的场景
06-09
RocketMQ是一款高可靠、高可用的消息中间件，但在某些特定场景下也有可能会发生消息丢失的情况，以下是一些常见的消息丢失场景： 1. 生产者发送消息失败：当生产者发送消息失败时，如果没有进行重试或者重试次数过...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值