Java内存区域与内存溢出异常

Java内存区域与内存溢出

1.1 运行时数据区域

1.1.1 程序计数器

1. 程序计数器（Program Counter Register）是一块较小的内存空间，它可以看作是当前线程所执行的字节码的行号指示器。
2. 字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指令。
3. 多线程中为了线程切换后能恢复到正确的执行位置，每条线程都需要有一个独立的程序计数器，各条线程之间计数器互不影响，独立存储，我们称这类内存区域为“线程私有”的内存。
4. 如果线程执行的是Java方法，这个计数器记录的是正在执行的虚拟机字节码指令的地址。
5. 如果线程执行的是Native方法，这个计数器值则为空（Undefined）。此内存区域是唯一一个在Java虚拟机中没有规定任何OutOfMemoryError情况的区域。

1.1.2 Java虚拟机栈

1. Java虚拟机栈（Java Virtual Machine Stacks）是线程私有的，生命周期与线程相同。
2. JVM描述的是Java方法执行的内存模型：每个方法在执行的同时都会创建一个栈帧（Stack Frame）用于存储局部变量表，操作数栈，动态链接，方法出口等信息。每个方法从调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中入栈到出栈的过程。
3. 有人将Java内存区分为堆内存和栈内存（即虚拟机栈，或说是虚拟机栈中局部变量表部分），此分法比较粗糙。
4. 局部变量表存放了编译期可知的各种基本数据类型（byte，short，int，long，float，double，boolean，char），对象引用（reference类型，它不等同于对象本身，可能是一个指向对象起始地址的引用指针，也可能是指向一个代表对象的句柄或其他与此对象相关的位置）和returnAddress类型（指向了一条字节码指令的地址）。
   • 其中64位长度的long和double类型的数据会占用2个局部变量空间（Slot），其余的数据类型只占用1个。
   • 局部变量表所需的内存空间在编译期间完成分配，当进入一个方法时，这个方法需要在帧中分配多大的局部变量空间是完全确定的，在方法运行期间不会改变局部变量表的大小。
5. JVM中对此区域规定了两种异常状况。
   • 如果线程请求的栈深度大于虚拟机所允许的深度，将抛出StackOverflowError异常。
   • 如果虚拟机栈可以动态扩展，如果扩展时无法申请到足够的内存，就会抛出OutOfMemoryError异常。

1.1.3 本地方法栈

1. 本地方法栈（Native Method Stack）为虚拟机使用到的Native方法服务。
2. 虚拟机规范中对本地方法栈中方法使用的语言，使用方式与数据结构并没有强制规定，因此具体的虚拟机可以自由实现它。（Sun HotSpot直接把本地方法栈和虚拟机栈合二为一）。
3. 本地方法栈的两种异常。
   • StackOverflowError
   • OutOfMemoryError

1.1.4 Java堆

1. 对大多数应用来说，Java堆（Java Heap）是Java虚拟机所管理的内存中最大的一块。

2. Java堆是被所有线程共享的一块内存区域，在虚拟机启动时创建，用于存放对象实例。

3. Java堆是垃圾收集器管理的主要区域，因此很多时候也被称为“GC堆”。

4. 由于收集器基本都采用分代收集算法，所以Java堆还可以细分为：新生代和老年代；再细致一点的有Eden空间，From Survivor空间，To Survivor空间。从内存分配的角度看，线程共享的Java堆中可能划分出多个线程私有的分配缓冲区（Thread Local Allocation Buffer，TLAB）
   

5. Java堆可以处于物理上不连续的内存空间中，只要逻辑上是连续的即可。在实现时，既可以实现成固定大小的，也可以是可扩展的，（主流JVM都是按照可扩展来实现的）通过-Xmx和-Xms控制。
   

6. 如果堆中没有完成实例分配，并且堆也无法在扩展时，将抛出OutOfMemoryError异常。

1.1.5 方法区

1. 方法区（Method Area）是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息，常量，静态常量，即时编译器编译后的代码等数据。
2. Java虚拟机规范对方法区的限制非常宽松，除了和Java堆一样不需要连续的内存和可以选择固定大小或者可扩展外，还可以选择不实现垃圾收集。
3. 此区域的内存回收目标是针对常量池的回收和对类型的卸载。
4. 当方法区无法满足内存分配需求时，将抛出OutOfMemoryError。

1.1.6 运行时常量池

1. 运行时常量池（Runtime Constant Pool）是方法区的一部分。Class文件中除了有类的版本，字段，方法，接口等描述信息外，还有一项信息是常量池（Constant Pool Table），用于存放编译期生成的各种字面量和符号引用，这部分内容将在类加载后进入方法区的运行时常量池中存放。
2. 运行时常量池相对于Class文件常量池的另一个重要特征是具备动态性，Java语言并不要求常量一定只有编译期才能产生，也就是并非预置入Class文件中常量池的内容才能进入方法区运行时常量池运行期间也可以将新的常量放入池中。用的比较多的就是String类的intern() 方法。
3. 当常量池无法再申请到内存时会抛出OutOfMemoryError。

1.1.7 直接内存

1. 直接内存（Direct Memory）并不是虚拟机运行时数据区的一部分，，也不是Java虚拟机规范中定义的内存区域。
2. 直接内存的分配不会受到Java堆大小的限制，但是会受到本机总内存大小以及处理器寻址空间的限制，管理员在配置虚拟机参数时，会根据实际内存设置-Xmx等参数信息，但经常忽略直接内存，使得各个内存区域总和大于物理内存限制，从而导致动态扩展时出现OutOfMemoryError。

1.2 对象的创建

• 虚拟机遇到一条new指令时，首先去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已被加载，解析和初始化过，如果没有，那必须先执行相应的类加载过程。
• 接下来虚拟机将为新生代对象分配内存。对象所需内存的大小在类加载完成后便可完全确定。
• 内存分配完成后，虚拟机需要将分配到的内存空间都初始化为零值（不包括对象头），如果使用TLAB，这一工作过程也可以提前至TLAB分配时进行。

1.2.1 分配内存的2种方式

• 指针碰撞（Bump the Pointer）
  • 假设Java堆中内存是绝对完整的，所有用过的内存都放在一边，空闲的内存放在另一边，中间放着一个指针作为分界点的指示器，那所分配内存就仅仅是把那个指针向空闲那边挪动一段与对象大小相等的距离。
• 空闲列表（Free List）
  • 如果Java堆中的内存并不是规整的，已使用的内存和空闲的内存相互交错，那就没有办法简单地进行指针碰撞了，虚拟机就必须维护一个列表，记录上那些内存块是可用的，在分配的时候从列表中找到一块足够大的空间划分给对象实例，并更新列表上的记录。
• 选择那种分配方式由Java堆是否规整决定，而Java堆是否规整又由所采用的垃圾收集器是否带有压缩整理功能决定。因此，在使用Serial，ParNew等带Compact过程的收集器时，系统采用的分配算法是指针碰撞，而使用CMS这种基于Mark-Sweep算法的收集器时，通常采用空闲列表。

1.2.2 虚拟机如何保证在并发下线程安全

1. 对分配内存空间的动作进行同步处理——实际上虚拟机采用CAS配上失败重试的方式保证更新操作的原子性。
2. 把内存分配的动作按照线程划分在不同的空间之中进行，即每个线程在Java堆中预先分配一小块内存，称为本地线程分配缓冲（Thread Local Allocation Buffer，TLAB）。哪个线程要分配内存，就在哪个线程的TLAB上分配，只要TLAB用完并分配新的TLAB时，才需要同步锁定。虚拟机是否使用TLAB，可以通过-XX:+/-UseTLAB参数来设定。

1.2.3 对象的内存布局（HotSpot虚拟机）

1. 布局分为3块区域：对象头（Header），实例数据（Instance Data）和对齐填充（Padding）。
2. 对象头包括两部分信息：
   1. 用于存储对象自身的运行时数据，如哈希码，GC分代年龄，锁状态标志，线程持有的锁，偏向线程ID，偏向时间戳等。
   2. 类型指针，即对象指向它的类元数据的指针，虚拟机通过这个指针来确定这个对象是哪个类的实例。
3. 实例数据部分是对象真正存储的有效信息，也是在程序代码中所定义的各种类型的字段内容。无论是从父类继承的，还是在子类中定义的，都需要记录下来。这部分的存储顺序会收到虚拟机分配策略参数（FieldsAllocationStyle）和字段在Java源码中定义顺序的影响。HotSpot虚拟机默认的分配策略为longs/doubles，ints，shorts/chars，bytes/booleans，oops（Ordinary Object Pointers）
4. 对其填充并不是必然存在的，也没有特别的含义，仅仅起着占位符的作用。

1.2.4 对象的访问定位

目前主流的访问方式有使用句柄和直接指针两种。

• 句柄访问，Java堆中将会划分出一块内存来作为句柄池，reference中存储的就是对象的句柄地址，而句柄中包含了对象实例数据与类型数据各自的具体地址信息。
• 直接指针，Java堆对象的布局中就必须考虑如何放置访问类型数据的相关信息，而reference中存储的直接就是对象地址。

两种方式的优略

• 句柄访问的最大好处就是reference中存储的是稳定的句柄，在对象被移动时只会改变句柄中的实例数据指针，而reference本身不需要修改。
• 直接指针访问的最大好处就是速度更快。

1.3 实战OutOfMemoryError异常

1.3.1 Java堆溢出

• Java堆用于存储对象实例，只要不断地创建对象，并且保证GC Roots到对象之间有可达路径来避免垃圾回收机制清除这些对象，那么在对象数量到达最大堆的容量限制后就会产生内存溢出异常。

public class HeapOOM {
    /**
     * VM Args: -Xms20m -xmx20m -XX:+HeapDumpOnOutOfMemoryError
     * -Xms,-Xmx限制堆的大小为20m，不可扩展。
     * -XX:+HeapDumpOnOutOfMemoryError
     * 用于让虚拟机在出现内存溢出异常时Dump出当前的内存堆转储快照以便事后分析
     */
    static class OOMObject{

    }
    public static void main(String[] args) {
	// write your code here
        List<OOMObject> list = new ArrayList<>();
        while (true){
            list.add(new OOMObject());
        }
    }
}

• 运行结果

java.lang.OutOfMemoryError: Java heap space
Dumping heap to java_pid11552.hprof ...
Heap dump file created [28281048 bytes in 0.087 secs]

• 当出现Java堆内存溢出时，异常堆栈信息会提示“Java heap space”。

1.3.2 虚拟机栈和本地方法栈溢出

虚拟机栈和本地方法栈，在Java虚拟机中描述了两种异常

• 如果线程请求的栈深度大于虚拟机所允许的最大深度，将抛出StackOverflowError。
• 如果虚拟机在扩展栈时无法申请到足够的内存空间，则抛出OutOfMemoryError。

由于实验范围限制于单线程中的操作，下面两种方式都无法让虚拟机产生OutOfMemoryError异常，尝试的结果都是获得StackOverflowError异常。

• 使用-Xss参数减少栈内存容量。结果：抛出StackOverflowError异常，异常出现时输出的堆栈深度相应减少。
• 定义大量本地方法，增大此方法帧中本地变量表的长度。结果抛出StackOverflowError异常时输出的堆栈深度响应缩小。

/**
 * VM Args: -Xss:128k
 */
public class JavaVMStackSOF {
    private int stackLength = 1;

    public void stackLeak() {
        stackLength++;
        stackLeak();
    }

    public static void main(String[] args) throws Throwable{
        JavaVMStackSOF oom = new JavaVMStackSOF();
        try {
            oom.stackLeak();
        } catch (Throwable e) {
            System.out.println("stack length:" + oom.stackLength);
            throw e;
        }
    }
}

• 运行结果

stack length:1001
Exception in thread "main" java.lang.StackOverflowError
	at com.ym.demo.JavaVMStackSOF.stackLeak(JavaVMStackSOF.java:7)
	at com.ym.demo.JavaVMStackSOF.stackLeak(JavaVMStackSOF.java:8)

• 在单个线程下，无论是由于栈帧太大还是虚拟机栈容量太小，当内存无法分配的时候，虚拟机抛出的都是StackOverflowError。
• 如果测试时不仅限于单线程，通过不断建立线程的方式倒是可以产生内存溢出异常，但这样产生的内存溢出异常与栈空间是否足够大并不存在任何联系，在这种情况下，为每个线程的栈分配的内存越大，反而越容易产生内存溢出异常(如下代码)。
• 如果是建立过多线程导致的内存溢出，在不能减少线程或更换64位虚拟机的情况下，只能通过减少最大堆和栈容量来换取更多的线程。

/**
 * VM Args: -Xss2M
 *
 * @author ym
 */
public class JavaVmStackOOM {
    private void dontStop() {
        while (true) {
        }
    }

    public void stackLeadByThread() {
        while (true) {
            Thread thread = new Thread(new Runnable() {
                @Override
                public void run() {
                    dontStop();
                }
            });
        }
    }

    public static void main(String[] args) {
        JavaVmStackOOM oom = new JavaVmStackOOM();
        oom.stackLeadByThread();
    }
}

• 运行结果

Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread

1.3.3 方法区和运行时常量池溢出

• String.intern()是一个Native方法，它的作用是：如果字符串常量池中已经包含一个等于此String对象的字符串，则返回代表池中这个字符串的String对象；否则，将此String对象包含的字符串添加到常量池中，并返回此String对象的引用。在JDK 1.6及之前的版本中，由于常量池分配在永久代内，可通过-XX:PermSize和–XX:MaxPermSize限制方法区大小，从而间接限制其中常量池的容量。

/**
 * VM Args: -XX:PermSize=10M -XX:MaxPermSize=10M
 */
public class RuntimeConstantPoolOOM {
    public static void main(String[] args) {
        List<String> list = new ArrayList<>();
        int i = 0;
        while (true) {
            list.add(String.valueOf(i++).intern());
        }
    }
}

• 运行结果

Exception in thread "main" java.lang.OutOfMemoryError: PermGen space
	at java.lang.String.intern(Native Method)
	at org.fenixsoft.oom.RuntimeConstantPoolOOM.main(RuntimeConstantPoolOOM java:18)

• 运行时常量池溢出，在OutOfMemoryError后面跟随的提示信息是“PermGen space”,说明运行时常量池属于方法区的一部分。
• 而使用JDK 1.7运行不会得到相同的结果，while循环将一直进行下去。
• 方法区用于存放Class的相关信息。如类名，访问修饰符，常量池，字段描述，方法描述等。对于这些区域的测试，基本的思路是运行时产生大量的类去填满方法区，直到溢出。

1.3.4 本机直接内存溢出

• DirectMemory容量可通过-XX:MaxDirectMemorySize指定，如果不指定，则默认与Java最大值（-Xmx指定）一样。

/**
 * VM Args:-Xmx20M -XX:MaxDirectMemorySize=10M
 */
public class DirectMemoryOOM {
    private static final int _1MB = 1024*1024;

    public static void main(String[] args) throws IllegalAccessException {
        Field unsafeField = Unsafe.class.getDeclaredFields()[0];
        unsafeField.setAccessible(true);
        Unsafe unsafe = (Unsafe)unsafeField.get(null);
        while (true) {
            unsafe.allocateMemory(_1MB);
        }
    }
}

• 运行结果

Exception in thread "main" java.lang.OutOfMemoryError
	at sun.misc.Unsafe.allocateMemory(Native Method)
	at com.ym.demo.DirectMemoryOOM.main(DirectMemoryOOM.java:16)

• 由DirectMemory导致的内存溢出，一个明显特征是在Heap Dump文件中不会看见明显的异常。