记一次log4j日志导致线上OOM问题案例

最近一个服务突然出现 OutOfMemoryError，两台服务因为这个原因挂掉了，一直在full gc。还因为这个问题我们小组吃了一个线上故障。很是纳闷，一直运行的好好的，怎么突然就不行了呢。。。

配置了一个  -XX:+HeapDumpOnOutOfMemoryError（该参数作用是在第一次发生OOM错误时候会打印dump内存信息），便开始通过dump文件开始查找问题。

 

项目各项环境参数：

项目使用dubbo框架，dubbo线程池配置500

项目内存配置2G，old区1.5G

项目使用   Log4j + Disruptor 实现的异步记录日志

log4j-api版本2.6.2            log4j-core版本2.6.2

disruptor版本3.3.6

 

 

问题分析:

都知道发生OOM问题是因为内存不够，造成原因却有很多。具体的场景具体分析，通过gc日志发现每次full gc回收的内存越来越少，造成最后OutOfMemoryError: GC overhead limit exceeded。

通过Java MAT工具分析dump发现，一个最大dubbo线程占用内存12M，总的dubbo线程占用内存加起来都已经1.6G了。