RocketMQ 一行代码造成大量消息丢失

最新推荐文章于 2024-04-23 10:59:40 发布
最新推荐文章于 2024-04-23 10:59:40 发布
阅读量1.1k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdnteach/article/details/112243635
版权
本文分析了RocketMQ在特定情况下出现TIMEOUT_CLEAN_QUEUE错误，导致消息丢失的问题。问题源于Broker的快速失败机制，且在异常处理中缺少对SYSTEM_BUSY的重试。解决方案包括增加waitTimeMillsInSendQueue值和修复RocketMQ的BUG，同时建议业务方自建消息重试机制以确保高可用性。
摘要由CSDN通过智能技术生成

1、问题现象

首先接到项目反馈使用 RocketMQ 会出现如下错误：
微信图片_20200527102624.png

错误信息关键点：MQBrokerException：CODE:2 DESC:[TIMEOUT_CLEAN_QUEUE]broker busy,start flow control for a while,period in queue：205ms，size of queue:880。
由于项目组并没有对消息发送失败做任何补偿，导致丢失消息发送失败，故需要对这个问题进行深层次的探讨，并加以解决。

2、问题分析

首先我们根据关键字：TIMEOUT_CLEAN_QUEUE 去 RocketMQ 中查询，去探究在什么时候会抛出如上错误。根据全文搜索如下图所示：

微信图片_20200527102628.png

该方法是在 BrokerFastFailure 中定义的，通过名称即可以看成其设计目的：Broker端快速失败机制。
Broker 端快速失败其原理图如下：

微信图片_20200527102631.png

消息发送者向 Broker 发送消息写入请求࿰

最低0.47元/天 解锁文章
Java架构师-VIP班
关注
线上遇到RocketMQ消息丢失，差点扣绩效，看我如何力挽狂澜~
程序员麦冬的博客（公众号同名）
10-21 331
问题现象 首先接到项目反馈使用 RocketMQ 会出现如下错误： 错误信息关键点： MQBrokerException：CODE:2 DESC:[TIMEOUT_CLEAN_QUEUE]broker busy,start flow control for a while,period in queue：205ms，size of queue:880 由于项目组并没有对消息发送失败做任何补偿，导致丢失消息发送失败，故需要对这个问题进行深层次的探讨，并加以解决。 问题分析 首先我们根据关键字：TIMEOU
阿里云的MQ消息队列
小tu豆的博客
09-26 3988
Exception in thread "main" com.aliyun.openservices.ons.api.exception.ONSClientException: Receive a broker exception, 这是由于权限引起的，需要到RAM访问控制台中，找到用户名，对其授权，即可解决。...
RocketMQ--MQBrokerException: CODE: 2 DESC: [TIMEOUT_CLEAN_QUEUE]broker busy
骑猪喝咖啡
05-22 1万+
分析业务日志发现：每天4点左右会报少量的”[TIMEOUT_CLEAN_QUEUE]broker busy, start flow control for a while, period in queue: 206ms, size of queue: 5“错误 Broker设置每天自动清理文件的时间是4点中，和Timeout时间比较吻合，那么问题可能就是因为清理文件造成IO突增，导致写数据...
RocketMQ一行代码造成大量消息发送失败，操作系统原理Linux技术实现
m0_64205765的博客
11-17 252
Broker 端快速失败其原理图如下： 消息发送者向 Broker 发送消息写入请求，Broker 端在接收到请求后会首先放入一个队列中(SendThreadPoolQueue)，默认容量为 10000。 Broker 会专门使用一个线程池(SendMessageExecutor)去从队列中获取任务并执行消息写入请求，为了保证消息的顺序处理，该线程池默认线程个数为1。 如果 Broker 端受到垃圾回收等等因素造成单条写入数据发生抖动，单个 Broker 端积压的请求太多从而得不到及时处理，会
rocketMQ系列(一): 消息中间件及rocketMQ简介
御前两把刀的专栏
03-06 523
一 消息中间件介绍 消息中间件是基于队列与消息传递技术，在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统。 消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。 概念图: 二 消息中间件的使用场景 王阿姨是小军的妈妈。 王阿姨希望小军多读书，常寻找好书给小军看，之前的方式是这样：王阿姨问小军什么时候有空，把书给小军送去，并亲眼监督小军读完书才走。久而久之，两人
深扒RocketMQ源码之后，我找出了RocketMQ消息重复消费的7种原因
z1ztai的博客
03-21 294
总得来说，RocketMQ中还是存在很多种导致消息重读消费的情况，并且官方也说了，只是在大多数情况下消息不会重复所以如果你的业务场景中需要保证消息不能重复消费，那么就需要根据业务场景合理的设计幂等技术方案。
用RocketMQ这么久，才知道消息可以这样玩
m0_73257876的博客
08-28 283
在上一章节中，我们讲解了RocketMQ的基本介绍，作为MQ最重要的就是消息的使用了，今天我们就来带大家如何玩转MQ的消息。消息中间件，英文Message Queue，简称MQ。它没有标准定义，一般认为：消息中间件属于分布式系统中一个子系统，关注于数据的发送和接收，利用高效可靠的异步消息传递机制对分布式系统中的其余各个子系统进行集成。高效：对于消息的处理处理速度快，RocketMQ可以达到单机10万+的并发。可靠：一般消息中间件都会有消息持久化机制和其他的机制确保消息不丢失。...
rocketMQ之TIMEOUT_CLEAN_QUEUE异常
09-13 3333
深入理解rocketMQ的TIMEOUT_CLEAN_QUEUE异常
Rocket面试（五）Rocketmq发生流量控制的情况有哪些？
Chen_leilei的博客
06-10 2127
本文介绍了 RocketMQ 发生流量控制的 8 个场景，其中 Broker 4 个场景，Consumer 4 个场景。Broker 的流量控制，本质是对 Producer 的流量控制，最好的解决方法就是给 Broker 扩容，增加 Broker 写入能力。而对于 Consumer 端的流量控制，需要解决 Consumer 端消费慢的问题，比如有第三方接口响应慢或者有慢 SQL。Broker4种场景：page cache 繁忙：获取commitlog写入锁超过1s。
RocketMQ应用过程中所遇问题及解决方案
醉卧雕龙舫，的博客
12-10 386
RocketMQ为了解决这种由于性能锁带来的频发问题，引入Broker端快速失败机制，即开启一个定时调度线程，每隔10毫秒去检查队列中的第一个排队节点，如果该节点的排队时间已经超过了200ms。1.增加waitTimeMillsInSendQueue的值，该值默认为 200ms，例如将其设置为1000s等等，适当提高该值能有效的缓解。当Broker端由于性能问题以及服务端积压的请求太多从而得不到及时处理，会极大的造成客户端消息发送的时间延长。重启mq的broker即可。
Caused by: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 14解决方案
qq_35388010的博客
03-04 9570
异常： RocketMQ Message hasn’t been sent. Caused by CODE: 14 DESC: service not available now, maybe disk full, CL: 0.95 CQ: 0.95 INDEX: 0.95, maybe your broker machine memory too small. 原因：磁盘空间占用率超过brocker-a.properties配置文件中配置的磁盘空间占用率的值，如图： (注：这里占用率只用62%
RocketMQ 消息发送system busy、broker busy、RemotingTooMuchRequestException原因分析与解决方案
最新发布
长江七号的博客
04-23 1785
system busy、broker busy这个错误，其本质是系统的PageCache繁忙，通俗一点讲就是向PageCache追加消息时，单个消息发送占用的时间超过1s了，如果继续往该Broker服务器发送消息并等待，其TPS根本无法满足，哪还是高性能的消息中间了呀。故才会采用快速失败机制，直接给消息发送者返回错误，消息发送者默认情况会重试2次，将消息发往其他Broker，保证其高可用。
rocketmq TIMEOUT_CLEAN_QUEUE异常
u014594604的博客
07-09 1727
com.alibaba.rocketmq.client.exception.MQBrokerException: delayLevel=null, sendResult=null, errorMsg=CODE: 2 DESC: [TIMEOUT_CLEAN_QUEUE]broker busy, start flow control for a while, period in queue: 40...
警惕、这 8 个场景下 RocketMQ 会发生流量控制
qwer123451234123的博客
04-28 542
在使用 RocketMQ 的过程中，有时候我们会看到下面的日志： [TIMEOUT_CLEAN_QUEUE]brokerbusy,startflowcontrolforawhile,periodinqueue:206ms,sizeofqueue:5 这是因为 RocketMQ 触发了流量控制。今天我们来聊一聊哪些场景下 RocketMQ 会触发流量控制。 如上图，生产者把消息写入 Broker，Consumer 从 Broker 拉取消息。Broker 是 Roc...
(四)Rocketmq消息发送
菜鸟腾飞
04-06 791
文章目录一.消息发送二.消息结构三.生产者启动流程四.消息发送基本流程4.1消息长度验证4.2查找主题路由信息4.3选择消息队列4.4消息发送五.批量发送 Rocketmq发送消息有三种实现方式:可靠同步发送,可靠异步发送,单向(oneway)发送 一.消息发送 支持3种消息发送 sync同步 async异步 oneway单向 同步:发送者向MQ执行发送消息api,同步等待,知道消息服务器返回发送...
Rocketmq双master模式不互通问题registerBroker Exception
Enough1988的博客
05-17 641
解决办法： centos7：systemctlstopfirewalld关闭防火墙 转载于:https://www.cnblogs.com/codeLZC/p/10880104.html
kafka异常问题汇总
热门推荐
与优秀的人在一起，会使自己变得更优秀
08-27 1万+
1、报错：: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. 　报错原因：producer在向kafka broker...
RocketMQ源代码深度解析：揭秘分布式消息平台
“RocketMQ源代码解析.pdf”是关于Apache RocketMQ的一款深度技术解析文档，由《RocketMQ技术内幕》的作者丁威编写。该文档详细介绍了RocketMQ的内部架构、实现原理以及源代码分析，旨在帮助读者理解分布式消息平台...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值