RocketMQ问题篇01 | Broker存储过慢异常分析
1、问题描述
钉钉告警触发时间:2022年7月26日 22:24
钉钉告警触发内容:
背景描述:发生告警时候排查了另外一台master集群的几点,其正常。
2、磁盘IO分析(排除硬件问题)
提交了阿里云工单,并通过iostat、iotop等命令监测了磁盘io情况,排除磁盘问题;
3、刷盘源码分析(排除刷盘逻辑)
线上刷盘的配置
大总结:broker启动的时候会启动一个异步线程,用于处理消息的刷盘逻辑,(故:告警系统中刷盘超时误导性提示)代码如下:
此处的StoreType比较重要,rocketmq有两种数据处理方式:FILE、MEMORY,公司使用FILE-MMAP机制;
启动了一个异步线程来执行刷盘逻辑,Thread.sleep(interval);默认配置500ms,读取配置参数syncFlushTimeout以下是具体逻辑:
4、macloud的告警源代码分析(定位至pageCache有问题)
根据异步刷盘告警,根据第3点刷盘逻辑,其异步操作且没有线程阻塞逻辑,排除异步刷盘逻辑问题;
此处的告警错误:不应该提示刷盘超时,应提示:写入pageCache超时
5、操作系统排查(排除mmap对应操作系统内存分配产生缺页中断、刷盘脏页回写可能导致的情况)
排查其缺页中断、脏页回写的场景:
步骤1:消息写入:
第一次发消息 -> 生成内存映射文件new MappedFile(nextFilePath, this.mappedFileSize);--产生缺页中断
第2次发消息 -> 从文件队列获取到mappedFile,追加写入新消息;
第N次发消息 -> 从文件队列获取到mappedFile发现文件已满,生成下一个内存映射文件new MappedFile(nextFilePath, this.mappedFileSize);--产生缺页中断
步骤2:消息刷盘
详细见异步刷盘逻辑,攒500毫秒数据,超过16kb则执行刷盘,不够则一直攒数据,10秒后还没攒够16kb数据则强制刷盘;-–产生脏页回写
内存分页监控(https://www.5ibc.net/centos/157.html)
sar -B 1 10 --每1秒采样一次,连续采样10次,监控内存分页:
输出项说明:
pgpgin/s:表示每秒从磁盘或SWAP置换到内存的字节数(KB)
pgpgout/s:表示每秒从内存置换到磁盘或SWAP的字节数(KB)
fault/s:每秒钟系统产生的缺页数,即主缺页与次缺页之和(major + minor)
majflt/s:每秒钟产生的主缺页数.
pgfree/s:每秒被放入空闲队列中的页个数
pgscank/s:每秒被kswapd扫描的页个数
pgscand/s:每秒直接被扫描的页个数
pgsteal/s:每秒钟从cache中被清除来满足内存需要的页个数
%vmeff:每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比
6、结合堆栈日志进一步进行rocketmq源码分析(分析rocketmq中pageCache逻辑)
堆栈日志:根据log日志putMessage not in lock分析,其告警信息会被触发,但是其逻辑实际为page cache,此异常会出现业务端少部分消息无法发送成功(业务也有发送失败日志),根据源码最终定位最有可能的是写入pageCache超时;
定位至日志打印的代码位置:
final AtomicLong[] times = this.initPutMessageDistributeTime();是返回上次收集的数据,直接打印。
broker启动时会运行此线程,属于异步打印,60秒执行一次(上图503行):
分析:[<=0ms]:0 [0~10ms]:4 [10~50ms]:0 [50~100ms]:0 [100~200ms]:0 [200~500ms]:0 [500ms~1s]:0 [1~2s]:0 [2~3s]:0 [3~4s]:0 [4~5s]:0 [5~10s]:0 [10s~]:1
final AtomicLong[] times = this.putMessageDistributeTime; 统计各个时间段内的数量,根据不同档位+1计数
long value参数是耗时具体多少毫秒,放入对应的档位中;
先看一下日志:
elapsedTime耗时高达38秒,放入大于10秒的统计档位中。
putResultFuture.thenAccept会等待this.commitLog.asyncPutMessage(msg);执行完成,所以耗时在这里:
检查commitLog的实现,线上配置走DLedgerCommitLog逻辑,如下。
7、DLedgerCommitLog的逻辑分析(分析rocketmq中DLedger模块pageCache逻辑)
主 写入pageCache的逻辑。
8、[问题解决] Subbmit PR to Github To fixed DLedger pagecachert overtime
https://github.com/apache/rocketmq/issues/4814
提交PR,合并请求通过。