rocketmq trouble shooting
文章平均质量分 84
记录rocketmq使用过程中遇到的问题
MQCloud
https://github.com/sohutv/mqcloud
展开
-
found A Illegal MagicCode
一、背景主从模式部署的broker集群,主节点同步模式为:异步复制,刷盘方式为:异步刷盘。在主节点宕机重启后,从节点的store.log里大量出现了如下日志,并且在不断的输出:2022-05-11 14:00:55 WARN ReputMessageService - found a illegal magic code 0xe588a9e52022-05-11 14:00:55 WARN ReputMessageService - found a illegal magic code 0xe588原创 2022-05-18 11:11:26 · 807 阅读 · 3 评论 -
slave同步master数据偏移量错误
一、背景master broker.log中出现如下日志:2019-12-03 17:42:06 INFO BrokerControllerScheduledThread1 - Slave fall behind master: -6868909625984868736 bytesslave同步master的数据落后的是负数,难以理解!二、分析1 上面的日志对应DefaultMessa...原创 2019-12-11 11:51:11 · 3691 阅读 · 3 评论 -
broker无响应时客户端发送消息至少重试一次
一、背景当broker处于半死不活的状态时(gc,os内存不足等等原因),此时表现无法及时响应客户端的请求。针对客户端同步发送消息,默认是带有重试策略的。可是此种情况下,客户端可能并没有重试的机会,详见下面的分析。二、分析参考核心消息发送代码,简化如下:channel.writeAndFlush(request).addListener(new ChannelFutureListener...原创 2019-12-11 11:48:30 · 540 阅读 · 0 评论 -
NameServer更新bug
一、背景业务方反馈,日志中发现大量如下错误:[2019-09-25T18:29:19,853][WARN ][RocketmqClient ] get Topic [search-core_model_v2-topic] RouteInfoFromNameServer is not exist value[2019-09-25T18:29:19,853][WARN ][R...原创 2019-12-11 11:46:07 · 3772 阅读 · 0 评论 -
broker负载过高
一、现象集群中两台broker机器分别出现load飙至60%的情况,导致系统无法登陆,引起mqcloud发送失败预警。二、处理首先登陆问题机器,发现无法链接,但是能ping同,证明机器基本处于hang住的状态。在mqcloud后台进行停写,由于ns和broker部署在一块,虽然显示停写成功,但是问题机器上的ns状态应该没有置为只读。偶尔能登录上时,进行截图如下:上面截图显...原创 2019-12-11 11:23:48 · 663 阅读 · 0 评论 -
广播消费模式的消费者OFFSET_MOVED_EVENT预警问题调查
一、现象mqcloud持续发送topic为digg-topic的消费者digg-group发生偏移量错误的预警邮件,详细预警如下:即:digg-group请求从偏移量156798开始消费,但是broker上最小的消息偏移量是172289,也就是说,消费者想请求消费的消息,在broker上已经不存在了。解释:rocketmq会将此种情况当做一个事件消息发送到内置的topic:OFFSET_M...原创 2019-12-11 11:20:26 · 1395 阅读 · 0 评论