java OOM问题排查

在做服务器端开发的时候，经常会遇到服务由于内存溢出挂掉的情况，这种情况的发生一般来说是很难预期的，也比较难以重现，对于这种问题，一般可以通过记录内存溢出时候的堆信息来排查。

1、首先可以查看服务器运行日志以及项目记录的日志，捕捉到内存溢出异常。

2、如果程序挂掉了，但是没有找到任何这个操作的日志记录。这时查看一下/var/log/messages文件。messages 日志是核心系统日志文件。它包含了系统启动时的引导消息，以及系统运行时的其他状态消息。在messages里会出现以下信息：

图1

造成这种情况的原因是因为，服务器以及项目日志都只能记录JVM内发生的内存溢出，也就是说heap（堆）的大小超出了JVM设置的大小。然而如果JVM设置的堆大小超出了操作系统允许的内存大小，那么操作系统会直接杀死进程，这种情况JVM就无法记录本次操作。

从图1中可以看出操作系统由于内存使用率过高，直接杀死了评分最高的进程，这里是java进程。Linux对于每个进程有一个OOM评分，这个评分在/proc/pid/oom_score文件中。例如/proc/8398/oom_score，如果不希望杀死这个进程，就将oom_adj内容改为-17。

3、在这种情况下首先需要调整JVM的heap大小，在运行参数中设置

 -Xms20m -Xmx20m 

将heap变小，使得JVM的OOM优先于操作系统的OOM出现。接着设置运行参数，在发生OOM的时候输出heapdump文件。

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/home/admin/logs/java.hprof

4、捕获到OOM异常的时候就会生成一个java.hprof文件。

产生OOM的程序示例：

public class OutofMemeorySample { 
    public static voidmain(String[] args) { 
       headOutOfMemory(); 
    } 
    static void headOutOfMemory(){ 
        long count= 0; 
        try { 
           List<Object> objects = newArrayList<Object>(); 
           while (true) { 
               count++; 
               objects.add(new Object()); 
           } 
        } catch(Throwable ex) { 
           System.out.println(count); 
           ex.printStackTrace(); 
        } 
    }   
} 

 

5、在eclipse安装MAT工具。详情：http://jingyan.baidu.com/article/cb5d61053562ed005c2fe022.html

将输出的java.hprof文件导入MAT，如图2，可以看到发生OOM时候的heap状态。

图2

点击Histogram可以看出所有heap中的对象列表，以及每类对象的数量，如图3。

图3

右键对象，选择List Object->with incoming reference，可以查看这个对象都被那些对象引用，从而查出为何对象没有被回收，如图4。

图4

通过MAT工具查看可疑的类。再通过部分代码执行前和执行后的dump对比，就能找出没有释放的对象。