JVM内存区域与内存溢出异常

一、内存模型的介绍

java虚拟机在执行java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途，以及创建销毁的时间，有的区域随着虚拟机进程的启动而存在，有些区域则依赖用户线程线程的启动和结束而建立和销毁。根据《Java虚拟机规范（java se 7版）》的规定，Java虚拟机所管理的内存将会包括以下几个运行时数据区域，如图：

1、程序计数器


程序计数器（Program Counter Register）是一块较小的内存空间，它的作用可以看做是当前线程所执行的字节码的行号指示器。在虚拟机的概念模型里（仅是概念模型，各种虚拟机可能会通过一些更高效的方式去实现），字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指令，分支、循环、跳转、异常处理、线程恢复等基础功能都需要依赖这个计数器来完成。由于Java 虚拟机的多线程是通过线程轮流切换并分配处理器执行时间的方式来实现的，在任何一个确定的时刻，一个处理器（对于多核处理器来说是一个内核）只会执行一条线程中的指令。因此，为了线程切换后能恢复到正确的执行位置，每条线程都需要有一个独立的程序计数器，各条线程之间的计数器互不影响，独立存储，我们称这类内存区域为“线程私有”的内存。如果线程正在执行的是一个Java 方法，这个计数器记录的是正在执行的虚拟机字节码指令的地址；如果正在执行的是Natvie 方法，这个计数器值则为空（Undefined）。此内存区域是唯一一个在Java 虚拟机规范中没有规定任何OutOfMemoryError 情况的区域。


2、Java 虚拟机栈


与程序计数器一样，Java 虚拟机栈（Java Virtual Machine Stacks）也是线程私有的，它的生命周期与线程相同。虚拟机栈描述的是Java 方法执行的内存模型：每个方法被执行的时候都会同时创建一个栈帧（Stack Frame ①）用于存储局部变量表、操作栈、动态链接、方法出口等信息。每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。经常有人把Java 内存区分为堆内存（Heap）和栈内存（Stack），这种分法比较粗糙，Java 内存区域的划分实际上远比这复杂。这种划分方
式的流行只能说明大多数程序员最关注的、与对象内存分配关系最密切的内存区域是这两块。其中所指的“堆”在后面会专门讲述，而所指的“栈”就是现在讲的虚拟机栈，或者说是虚拟机栈中的局部变量表部分。


局部变量表存放了编译期可知的各种基本数据类型（boolean、byte、char、short、int、float、long、double）、对象引用（reference 类型，它不等同于对象本身，根据不同的虚拟机实现，它可能是一个指向对象起始地址的引用指针，也可能指向一个代表对象的句柄或者其他与此对象相关的位置）和returnAddress 类型（指向了一条字节码指令的地址）。其中64 位长度的long 和double 类型的数据会占用2 个局部变量空间（Slot），其余的数据类型只占用1 个。局部变量表所需的内存空间在编译期间完成分配，当进入一个方法时，这个方法需要在帧中分配多大的局部变量空间是完全确定的，在方法运行期间不会改变局部变量表的大小。

在Java 虚拟机规范中，对这个区域规定了两种异常状况：如果线程请求的栈深度大于虚拟机所允许的深度，将抛出StackOverflowError 异常；如果虚拟机栈可以动态扩展
（当前大部分的Java 虚拟机都可动态扩展，只不过Java 虚拟机规范中也允许固定长度的虚拟机栈），当扩展时无法申请到足够的内存时会抛出OutOfMemoryError 异常。



3、本地方法栈

本地方法栈（Native Method Stacks）与虚拟机栈所发挥的作用是非常相似的，其区别不过是虚拟机栈为虚拟机执行Java 方法（也就是字节码）服务，而本地方法栈则是为虚拟机使用到的Native 方法服务。虚拟机规范中对本地方法栈中的方法使用的语言、使用方式与数据结构并没有强制规定，因此具体的虚拟机可以自由实现它。甚至有的虚拟机（譬如Sun HotSpot 虚拟机）直接就把本地方法栈和虚拟机栈合二为一。与虚拟机栈一样，本地方法栈区域也会抛出StackOverflowError 和OutOfMemoryError异常。

4、Java 堆
对于大多数应用来说，Java 堆（Java Heap）是Java 虚拟机所管理的内存中最大的一块。Java 堆是被所有线程共享的一块内存区域，在虚拟机启动时创建。此内存区域的唯一目的就是存放对象实例，几乎所有的对象实例都在这里分配内存。这一点在Java 虚拟机规范中的描述是：所有的对象实例以及数组都要在堆上分配①，但是随着JIT 编译器的发展与逃逸分析技术的逐渐成熟，栈上分配、标量替换②优化技术将会导致一些微妙的变化发生，所有的对象都分配在堆上也渐渐变得不是那么“绝对”了。Java 堆是垃圾收集器管理的主要区域，因此很多时候也被称做“GC 堆”（GarbageCollected Heap，幸好国内没翻译成“垃圾堆”）。如果从内存回收的角度看，由于现在收集器基本都是采用的分代收集算法，所以Java 堆中还可以细分为：新生代和老年代；再细致一点的有Eden 空间、From Survivor 空间、To Survivor 空间等。如果从内存分配的角度看，线程共享的Java 堆中可能划分出多个线程私有的分配缓冲区（Thread LocalAllocation Buffer，TLAB）。不过，无论如何划分，都与存放内容无关，无论哪个区域，存储的都仍然是对象实例，进一步划分的目的是为了更好地回收内存，或者更快地分配内存。在本章中，我们仅仅针对内存区域的作用进行讨论，Java 堆中的上述各个区域的分配和回收等细节将会是下一章的主题。根据Java 虚拟机规范的规定，Java 堆可以处于物理上不连续的内存空间中，只要逻辑上是连续的即可，就像我们的磁盘空间一样。在实现时，既可以实现成固定大小的，也可以是可扩展的，不过当前主流的虚拟机都是按照可扩展来实现的（通过-Xmx和-Xms 控制）。如果在堆中没有内存完成实例分配，并且堆也无法再扩展时，将会抛出OutOfMemoryError 异常。


4、方法区

方法区（Method Area）与Java 堆一样，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。虽然Java 虚拟机规范把方法区描述为堆的一个逻辑部分，但是它却有一个别名叫做Non-Heap（非堆），目的应该是与Java 堆区分开来。对于习惯在HotSpot 虚拟机上开发和部署程序的开发者来说，很多人愿意把方法区称为“永久代”（Permanent Generation），本质上两者并不等价，仅仅是因为HotSpot 虚拟机的设计团队选择把GC 分代收集扩展至方法区，或者说使用永久代来实现方法区而已。对于其他虚拟机（如BEA JRockit、IBM J9 等）来说是不存在永久代的概念的。即使是HotSpot 虚拟机本身，根据官方发布的路线图信息，现在也有放弃永久代并“搬家”至Native Memory 来实现方法区的规划了。Java 虚拟机规范对这个区域的限制非常宽松，除了和Java 堆一样不需要连续的内存和可以选择固定大小或者可扩展外，还可以选择不实现垃圾收集。相对而言，垃圾收集行为在这个区域是比较少出现的，但并非数据进入了方法区就如永久代的名字一样“永久”存在了。这个区域的内存回收目标主要是针对常量池的回收和对类型的卸载，一般来说这个区域的回收“成绩”比较难以令人满意，尤其是类型的卸载，条件相当苛刻，但是这部分区域的回收确实是有必要的。在Sun 公司的BUG 列表中，曾出现过的若干个严重的BUG 就是由于低版本的HotSpot 虚拟机对此区域未完全回收而导致内存泄漏。根据Java 虚拟机规范的规定，当方法区无法满足内存分配需求时，将抛出OutOfMemoryError 异常。


5、运行时常量池
运行时常量池（Runtime Constant Pool）是方法区的一部分。Class 文件中除了有类的版本、字段、方法、接口等描述等信息外，还有一项信息是常量池（Constant Pool  Table），用于存放编译期生成的各种字面量和符号引用，这部分内容将在类加载后存放到方法区的运行时常量池中。Java 虚拟机对Class 文件的每一部分（自然也包括常量池）的格式都有严格的规定，每一个字节用于存储哪种数据都必须符合规范上的要求，这样才会被虚拟机认可、装载和执行。但对于运行时常量池，Java 虚拟机规范没有做任何细节的要求，不同的提供商实现的虚拟机可以按照自己的需要来实现这个内存区域。不过，一般来说，除了保存Class 文件中描述的符号引用外，还会把翻译出来的直接引用也存储在运行时常量池中①。运行时常量池相对于Class 文件常量池的另外一个重要特征是具备动态性，Java 语言并不要求常量一定只能在编译期产生，也就是并非预置入Class 文件中常量池的内容才能进入方法区运行时常量池，运行期间也可能将新的常量放入池中，这种特性被开发人员利用得比较多的便是String 类的intern() 方法。既然运行时常量池是方法区的一部分，自然会受到方法区内存的限制，当常量池无法再申请到内存时会抛出OutOfMemoryError 异常


6、直接内存

直接内存（Direct Memory）并不是虚拟机运行时数据区的一部分，也不是Java虚拟机规范中定义的内存区域，但是这部分内存也被频繁地使用，而且也可能导导致OutOfMemoryError 异常出现，所以我们放到这里一起讲解。在JDK 1.4 中新加入了NIO（New Input/Output）类，引入了一种基于通道（Channel）与缓冲区（Buffer）的I/O 方式，它可以使用Native 函数库直接分配堆外内存，然后通过一个存储在Java 堆里面的DirectByteBuffer 对象作为这块内存的引用进行操作。这样能在一些场景中显著提高性能，因为避免了在Java 堆和Native 堆中来回复制数据。

二、对象的创建

在语言层面上，创建对象（例如克隆、反序列化）通常仅仅是一个new关键词，而在虚拟机上对象的创建会是怎么样子的呢？

1、首相当虚拟机遇到一条new指令时，首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并检查这个符号引用代表的类是否已被加载、解析和初始化过。如果没有，那必须执行相应的类加载过程，参见（JVM类加载机制基础）

2、类加载检查过后，接下来就是对新生对象分配内存。对象内存的大小在类加载完成后便可完全确定。为对象分配空间的任务等同于把一块确定大小的内存从java堆中划分出来。

1）指针碰撞：假设JAVA堆是绝对规整的，所有用过的内存放在一边，空闲的内存放在另一边，中间放着一个指针作为分界点指示器，那所分配内存仅仅是把指针向空闲空间移动相应的对象内存大小。

2)空闲列表：这种情况是针对JAVA堆的内存并不规整，那么虚拟机就需要维护一个列表，记录那块内存可以，在分配的时候，从列表中找出一块足够大的空间分给对象实例，并在表上做相应的记录。

三、对象的访问定位

建立对象时为了使用对象，我们的Java程序需要通过栈上的reference数据来操作堆上的具体对象。目前主流的访问方式有使用句柄和直接引用两种

1)句柄访问：如果使用句柄访问的话，那么Java堆中将会划分出一块内存来作为句柄池，reference中存储的就是对象的句柄地址，而句柄中包含了对象实例数据与类型数据各自的具体地址信息，如下图Eric通过句柄访问的示意图

2)指针访问：使用指针访问，那么Java堆对象的布局中就必须考虑如何放置访问类型数据相关信息，而reference中存储的直接就是对象地址，如下图

总的来说，两种访问方式各有各的好处，对于句柄方式访问定位，当对象位置改变的时候（垃圾收集时移动对象是非常普遍的行为），只会改变句柄中实例的指针，而reference本身不会改变。对于直接指针访问方式的最大好处就是速度更快，它节省了一次指针定位的时间开销。

四、实战：OutOfMemoryError。

在Java虚拟机规范描述中，除了程序计数器外，虚拟机内存的其他几个运行时区域都有发生OutOfMemoryError异常的可能。（程序计数器不会发生是因为程序计数器中存储的数据所占用空间的大小不会随程序的执行而发生改变，因此，对于程序计数器是不会发生内存溢出现象的）

·1）Java堆溢出

Java堆用于存储对象实例，只要不断地创建对象，并且保证GC Roots到对象之间有可达路径来避免垃圾回收机制清除这些对象，那么在对象数量到达最大堆容量限制后就会产生内存溢出异常

下面的代码把java堆的大小设置为2Mb，不可扩展，通过参数-XX:+HeapDumpOnOutOfMemoryError可以让虚拟机在出现内存溢出异常的时Dump出当前的内存堆转储快照以便事后进行分析（参见利用 Eclipse Memory Analyzer进行分析）。

package com.slowly.jvm;

/**
 * -verbose:gc -Xms2M -Xmx2M  -XX:+HeapDumpOnOutOfMemoryError
 */

import java.util.ArrayList;
import java.util.List;

public class HeapOOM {
	 static class OOMObject{}
	
	public static void main(String[] args){
		List<OOMObject> list = new ArrayList<OOMObject>();
		while(true){
			
			list.add(new OOMObject());

		}
	}
}

利用eclipse设置参数

运行结果：

2)虚拟机栈和本地方法栈溢出

如果线程请求的栈深度大于虚拟机所允许的最大深度，将抛出StackOverflowError异常

如果虚拟机在扩展栈是无法申请到足够的内存空间，则抛出OutOfMemoryError异常

测试程序

package com.slowly.jvm;

/**
 * VM args:-Xss128k
 * @author hy
 *
 */

public class JavaVMStackSOF {
	
	private int stackLength = 1;
	
	public void stackLeak(){
		stackLength++;
		stackLeak();
	}
	
	public static void main(String[] args){
		JavaVMStackSOF oom = new JavaVMStackSOF();
		try{
			oom.stackLeak();
		}catch(Throwable e){
			System.out.println("stack length:"+oom.stackLength);
		    e.printStackTrace();
		}
		
	}
}

运行结果

实验结果表明：在单线程下，无论是由于栈帧太大还是虚拟机栈容量太小，当内存无法分配的时候，虚拟机抛出的都是StackOverflowError异常

3）方法区和运行时常量池溢出

由于运行时常量是方法区的一部分，因此 两个区域的溢出测试就放在一起。

String.intern()是一个Native方法，它的作用是：如果字符串常量池中已经包含一个等于此String对象的字符串，则返回代表池中这个字符串的String对象；否则，将此String对象包含的字符串添加到常量池中，并返回String对象的引用。

关于这个字符串常量池的实现问题，jdk6和jdk7是不同的，且看下面的代码

package com.slowly.jvm;

import java.util.ArrayList;
import java.util.List;

public class RuntimeConstantPoolOOM {
	
	public static void main(String[] args){
		
		
		String str1 = new StringBuilder("计算机").append("软件").toString();
		System.out.println(str1.intern()==str1);
		
		String str2 = new StringBuilder("ja").append("va").toString();
		System.out.println(str2.intern()==str2);
		
		/*List<String> list = new ArrayList<String>();
		int i=0;
		while(true){
			list.add(String.valueOf(i++).intern());
		}*/
	}

}

这段代码在JDK6中运行，会得到两个false，而在JDK7中运行，会得到一个true和一个false。产生茶饮的原因：在JDK6中，intrin（）方法会把首次遇到的字符串实例复制到永久代中，返回的也是永久代中这个字符串实例的引用，而由StringBuilderr创建的字符串实例在Java堆上，所以必然不是同一个引用，将返回false。而JDK7(以及部分其他虚拟机，例如JRockit)的intern（）实现不会再复制实例，只是在常量池中记 录首次出现的实例引用，因此intern返回的引用和有StringBuilder创建的那个字符实例是同一个。对str2比较返回false是因为“”java“”这个字符串在执行StringBuilder.toString()之前已经出现过了，字符串常量池中已经有了它的引用，不符合“”首次出现“”的原则。（这一块我也没有搞懂）

方法区用于存放Class的相关信息，如类名、访问修饰符、常量池、字段描述、方法描述等，对于这些区域的测试，基本的思路是运行时产生大量的类去填满方法区、直到溢出。（没有成功，不知是不是我没用jdk6的原因）

package com.slowly.jvm;

import java.lang.reflect.Method;

import net.sf.cglib.proxy.Enhancer;
import net.sf.cglib.proxy.MethodInterceptor;
import net.sf.cglib.proxy.MethodProxy;

/**
 * 借助CGLib使方法区出现内存溢出异常
 * @author hy
 *  -verbose:gc  -XX:PermSize=10M -XX:MaxPermSize=10M
 *
 */
public class JavaMethodAreaOOM {


	    public static void main(String[] args) {

	       while(true){

	           Enhancer enhancer = new Enhancer();

	           enhancer.setSuperclass(OOMObject.class);

	           enhancer.setUseCache(false);

	           enhancer.setCallback(new MethodInterceptor() {

	              @Override

	              public Object intercept(Object arg0, Method arg1, Object[] arg2,

	                     MethodProxy arg3) throws Throwable {

	                  return arg3.invokeSuper(arg0, arg2);

	              }

	           });

	           enhancer.create();

	       }
	       

	    }
	    static class OOMObject{
	    	   
	       }
}

4）本机直接内存溢出

package com.slowly.jvm;

/**
 * vm Args: -Xmx20M -XX:MaxDirectMemorySize=10M
 * @author hy
 *
 */

public class DirectMemoryOOM {


	    private static final int ONE_MB = 1024*1024;

	 

	    public static void main(String[] args) {

	           Field field = Unsafe.class.getDeclaredField("theUnsafe");

	           field.setAccessible(true);

	           Unsafe unsafe = (Unsafe) field.get(null);

	           while (true) {

	              unsafe.allocateMemory(ONE_MB);

	           }


	    }

}

JVM参数：

-XX:+PrintGCDetails  打印垃圾回收信息

-Xms 为Heap区域的初始值，线上环境需要与-Xmx设置为一致，否则capacity的值会来回飘动
-Xmx 为Heap区域的最大值
-Xss（或-ss） 线程栈大小（指一个线程的native空间）1.5以后是1M的默认大小
-XX:PermSize与-XX:MaxPermSize  方法区（永久代）的初始大小和最大值（但不是本地方法区）
-XX:NewRatio  老年代与新生代比率
-XX:SurvivorRatio  Eden与Survivor的占用比例。例如8表示，一个survivor区占用 1/8 的Eden内存，即1/10的新生代内存，为什么不是1/9？因为我们的新生代有2个survivor，即S1和S22。所以survivor总共是占用新生代内存的 2/10，Eden与新生代的占比则为 8/10。
-XX:MaxHeapFreeRatio  GC后，如果发现空闲堆内存占到整个预估的比例小于这个值，则减小堆空间。
-XX:MinHeapFreeRatio  GC后，如果发现空闲堆内存占到整个预估的比例大于这个值，则增大堆空间。
-XX:NewSize    新生代大小