前言背景
上周三早上连续受到报警信息,提示某某服务器磁盘满了,请开发同学尽快处理!
二话不说先拿出电脑,分析一下服务器的日志,发现有这样的日志记录出现了一千三百多万次
msgWorker - thread-16 - xxxMessageListener ... 具体内容省略
由于之前的日志里是不会打印这些消息日志的,所以,我猜测是不是日志级别设置错了。而且这个消息打印的类并不在项目源码里,而是依赖的jar包中,问题大概是知道了,应该是日志依赖jar包冲突了。
因为系统是线上运行的,所以知道某个类里采用哪个日志框架和使用何种日志级别都是个问题!不过,还好有阿里的Arthas,让你可以轻松解决这类线上问题。
问题排查过程
因为我们的线上机器都是将arthas集成到docker镜像里的,所以只需要启动arth