关于java outOfmemory的简单记录

本文代码存放与outofmemory工程中 码云地址在https://gitee.com/insplk/demoRep

涉及的工具有IBM HeapAnalyzer 在该工程的tools 目录下

OutOfMemoryError在开发过程中是司空见惯的，遇到这个错误，新手程序员都知道从两个方面入手来解决：一是排查程序是否有BUG导致内存泄漏；二是调整JVM启动参数增大内存。OutOfMemoryError有好几种情况，每次遇到这个错误时，观察OutOfMemoryError后面的提示信息，就可以发现不同之处，如：

java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: unable to create new native thread
java.lang.OutOfMemoryError: PermGen space
java.lang.OutOfMemoryError: Requested array size exceeds VM limit

 

OutOfMemoryError

1.java.lang.OutOfMemoryError: Java heap space
原因：Heap内存溢出，意味着Young和Old generation的内存不够。
解决：调整java启动参数 -Xms -Xmx 来增加Heap内存。

堆内存溢出时，首先判断当前最大内存是多少（参数：-Xmx 或 -XX:MaxHeapSize=），可以通过命令 jinfo -flag MaxHeapSize 查看运行中的JVM的配置，如果该值已经较大则应通过 mat 之类的工具查找问题，或 jmap -histo查找哪个或哪些类占用了比较多的内存。参数-verbose:gc(-XX:+PrintGC) -XX:+PrintGCDetails可以打印GC相关的一些数据。如果问题比较难排查也可以通过参数-XX:+HeapDumpOnOutOfMemoryError在OOM之前Dump内存数据再进行分析。此问题也可以通过histodiff打印多次内存histogram之前的差值，有助于查看哪些类过多被实例化，如果过多被实例化的类被定位到后可以通过btrace再跟踪。
下面代码可再现该异常：
List<String> list = new ArrayList<String>();
while(true) list.add(new String("Consume more memory!"));

2.java.lang.OutOfMemoryError: unable to create new native thread
原因：Stack空间不足以创建额外的线程，要么是创建的线程过多，要么是Stack空间确实小了。
解决：由于JVM没有提供参数设置总的stack空间大小，但可以设置单个线程栈的大小；而系统的用户空间一共是3G，除了Text/Data/BSS/MemoryMapping几个段之外，Heap和Stack空间的总量有限，是此消彼长的。因此遇到这个错误，可以通过两个途径解决：1.通过-Xss启动参数减少单个线程栈大小，这样便能开更多线程（当然不能太小，太小会出现StackOverflowError）；2.通过-Xms -Xmx 两参数减少Heap大小，将内存让给Stack（前提是保证Heap空间够用）。

在JVM中每启动一个线程都会分配一块本地内存，用于存放线程的调用栈，该空间仅在线程结束时释放。当没有足够本地内存创建线程时就会出现该错误。通过以下代码可以很容易再现该问题： [2]
 while(true){
    new Thread(new Runnable(){
        public void run() {
            try {
                Thread.sleep(60*60*1000);
            } catch(InterruptedException e) { }        
        }    
    }).start();
}

3.java.lang.OutOfMemoryError: PermGen space
原因：Permanent Generation空间不足，不能加载额外的类。
解决：调整-XX:PermSize= -XX:MaxPermSize= 两个参数来增大PermGen内存。一般情况下，这两个参数不要手动设置，只要设置-Xmx足够大即可，JVM会自行选择合适的PermGen大小。

PermGen space即永久代，是非堆内存的一个区域。主要存放的数据是类结构及调用了intern()的字符串。
List<Class<?>> classes = new ArrayList<Class<?>>();
while(true){
    MyClassLoader cl = new MyClassLoader();
    try{
        classes.add(cl.loadClass("Dummy"));
    }catch (ClassNotFoundException e) {
        e.printStackTrace();
    }
}
类加载的日志可以通过btrace跟踪类的加载情况：
import com.sun.btrace.annotations.*;
import static com.sun.btrace.BTraceUtils.*;

@BTrace
public class ClassLoaderDefine {

    @SuppressWarnings("rawtypes")
    @OnMethod(clazz = "+java.lang.ClassLoader", method = "defineClass", location = @Location(Kind.RETURN))
    public static void onClassLoaderDefine(@Return Class cl) {
        println("=== java.lang.ClassLoader#defineClass ===");
        println(Strings.strcat("Loaded class: ", Reflective.name(cl)));
        jstack(10);
    }
}
除了btrace也可以打开日志加载的参数来查看加载了哪些类，可以把参数-XX:+TraceClassLoading打开，或使用参数-verbose:class（-XX:+TraceClassLoading, -XX:+TraceClassUnloading），在日志输出中即可看到哪些类被加载到Java虚拟机中。该参数也可以通过jflag的命令java -jar jflagall.jar -flag +ClassVerbose动态打开-verbose:class。

下面是一个使用了String.intern()的例子： 

List<String> list = new ArrayList<String>();
int i=0;
while(true) list.add(("Consume more memory!"+(i++)).intern());

你可以通过以下btrace脚本查找该类调用：

import com.sun.btrace.annotations.*;
import static com.sun.btrace.BTraceUtils.*;

@BTrace
public class StringInternTrace {

    @OnMethod(clazz = "/.*/", method = "/.*/",
              location = @Location(value = Kind.CALL, clazz = "java.lang.String", method = "intern"))
    public static void m(@ProbeClassName String pcm, @ProbeMethodName String probeMethod,
                         @TargetInstance Object instance) {
        println(strcat(pcm, strcat("#", probeMethod)));
        println(strcat(">>>> ", str(instance)));
    }
}

4.java.lang.OutOfMemoryError: Requested array size exceeds VM limit
原因：这个错误比较少见（试着new一个长度1亿的数组看看），同样是由于Heap空间不足。如果需要new一个如此之大的数组，程序逻辑多半是不合理的。
解决：修改程序逻辑吧。或者也可以通过-Xmx来增大堆内存。

详细信息表示应用申请的数组大小已经超过堆大小。如应用程序申请512M大小的数组，但堆大小只有256M，这里会抛出OutOfMemoryError，因为此时无法突破虚拟机限制分配新的数组。在大多少情况下是堆内存分配的过小，或是应用尝试分配一个超大的数组，如应用使用的算法计算了错误的大小。

5.在GC花费了大量时间，却仅回收了少量内存时，也会报出OutOfMemoryError，我只遇到过一两次。当使用-XX:+UseParallelGC或-XX:+UseConcMarkSweepGC收集器时，在上述情况下会报错，在HotSpot GC Turning文档上有说明：
The parallel(concurrent) collector will throw an OutOfMemoryError if too much time is being spent in garbage collection: if more than 98% of the total time is spent in garbage collection and less than 2% of the heap is recovered, an OutOfMemoryError will be thrown.
对这个问题，一是需要进行GC turning，二是需要优化程序逻辑。

6.java.lang.StackOverflowError
原因：这也内存溢出错误的一种，即线程栈的溢出，要么是方法调用层次过多（比如存在无限递归调用），要么是线程栈太小。
解决：优化程序设计，减少方法调用层次；调整-Xss参数增加线程栈大小。

7.java.lang.OutOfMemoryError: request <size> bytes for <reason>. Out of swap space?

本地内存分配失败。一个应用的Java Native Interface(JNI)代码、本地库及Java虚拟机都从本地堆分配内存分配空间。当从本地堆分配内存失败时抛出OutOfMemoryError异常。例如：当物理内存及交换分区都用完后，再次尝试从本地分配内存时也会抛出OufOfMemoryError异常。

8. java.lang.OutOfMemoryError: <reason> <stack trace> (Native method)

如果异常的详细信息是 <reason> <stack trace> (Native method) 且一个线程堆栈被打印，同时最顶端的桢是本地方法，该异常表明本地方法遇到了一个内存分配问题。与前面一种异常相比，他们的差异是内存分配失败是JNI或本地方法发现或是Java虚拟机发现。

9.java.lang.OutOfMemoryError: Direct buffer memory

　　即从Direct Memory分配内存失败，Direct Buffer对象不是分配在堆上，是在Direct Memory分配，且不被GC直接管理的空间（但Direct Buffer的Java对象是归GC管理的，只要GC回收了它的Java对象，操作系统才会释放Direct Buffer所申请的空间）。通过-XX:MaxDirectMemorySize=可以设置Direct内存的大小。

List<ByteBuffer> list = new ArrayList<ByteBuffer>();
while(true) list.add(ByteBuffer.allocateDirect(10000000));

10. java.lang.OutOfMemoryError: GC overhead limit exceeded

JDK6新增错误类型。当GC为释放很小空间占用大量时间时抛出。一般是因为堆太小。导致异常的原因：没有足够的内存。可以通过参数-XX:-UseGCOverheadLimit关闭这个特性。

11. java.lang.OutOfMemoryError: request <size> bytes for <reason>. Out of swap space?

本地内存分配失败。一个应用的Java Native Interface(JNI)代码、本地库及Java虚拟机都从本地堆分配内存分配空间。当从本地堆分配内存失败时抛出OutOfMemoryError异常。例如：当物理内存及交换分区都用完后，再次尝试从本地分配内存时也会抛出OufOfMemoryError异常。

12. java.lang.OutOfMemoryError: <reason> <stack trace> (Native method)

如果异常的详细信息是 <reason> <stack trace> (Native method) 且一个线程堆栈被打印，同时最顶端的桢是本地方法，该异常表明本地方法遇到了一个内存分配问题。与前面一种异常相比，他们的差异是内存分配失败是JNI或本地方法发现或是Java虚拟机发现。