09 方法区
栈、堆、方法区的交互关系
运行时数据区结构图,如下:
从线程共享与否的角度来看(JDK8为例):
new 对象的过程
方法区的理解
《Java虚拟机规范》中明确说明:“尽管所有的方法区在逻辑上是属于堆的一部分,但一些简单的实现可能不会选择去进行垃圾回收或进行压缩”。但对于HotSpotJVM而言,方法区还有一个别名叫做Non-Heap(非堆),目的就是要和堆分开。
所以,方法去看作是一块独立于Java堆的内存空间。
- 方法区(Method Area)与Java堆一样,是各个线程共享的内存区域。
- 方法区在JVM启动的时候被创建,并且它的实际的物理内存空间中和Java堆区一样都可以是不连续的。
- 方法区的大小,跟堆空间一样,可以选择固定大小或者可扩展。
- 方法区的大小决定了系统可以保存多少个类,如果系统定义了太多的类,导致方法区溢出,虚拟机同样会抛出内存溢出错误:java.lang.OutOfMemoryError: PermGen space 或者 java.lang.OutOfMemoryError: Metaspace
- 加载大量的第三方的Jar包,tomcat部署的工程过多,大量动态的生成反射类等情况都会引起OOM。
- 关闭JVM就会释放这个区域的内存
HotSpot中方法区的演进:
- 在jdk7及以前,习惯上把方法区,称为永久代。jdk8开始,使用元空间代替了永久代。
- 本质上,方法区和永久代并不等价(永久代和元空间只是方法区的具体实现)。仅是hotspot而言的。《Java虚拟机规范》对如何实现方法区,不做统一要求。例如:BEA JRockit/IBM J9中不存在永久代的概念。(永久代更容易出现OOM)
- 而到了JDK8,终于完全废弃了永久代的概念,改用与JRockit、J9一样在本地内存中实现的元空间来替代。
- 元空间的本质和永久代类似,都是对JVM规范中方法区的实现。不过元空间与永久代最大的区别在于:元空间不在虚拟机设置的内存中,而是使用本地内存。
- 永久代、元空间二者并不是名字变了,内部结构也调整了。
- 根据《Java虚拟机规范》的规定,如果方法区无法满足新的内存分配需求时,将抛出OOM异常。
设置方法区大小与OOM
- 方法区的大小不必是固定的,jvm可以根据应用的需求动态调整。
- jdk7及以前:
- 通过
-XX:PermSize
来设置永久代初始分配空间。默认值是20.75M。 -XX:MaxPermSize
来设置永久代最大可分配空间。32位机器默认是64M,64位机器默认是82M- 当JVM加载的类信息容量超过了这个值,会报异常OutOfMemoryError: PermGen space。
- 通过
- jdk8及以后:
- 元空间区大小可以使用参数
-XX:MetaspaceSize
和-XX:MaxMetaspaceSize
指定,代替上述原有的两个参数 - 默认值依赖于平台,windows下,
-XX:MetaspaceSize
是21M,-XX:MaxMetaspaceSize
的值是-1,即没有限制。 - 与永久代不同,如果不指定大小,默认情况下,虚拟机会耗尽所有的可用系统内存。如果元空间发生溢出,虚拟机会抛出异常
OutOfMemoryError:Metaspace
-XX:MetaspaceSize
:设置初始的元空间大小,对于一个64位的服务器端JVM来说,其默认的值为21MB。这就是出事的高水位线,一旦触及这个水位线,Full GC将会被触发,并卸载没用的类(即这些类对应的类加载器不再存活),然后这个高水位线将会重置。新的高水位线的值取决于GC后释放了多少元空间。如果释放的空间不足,那么在不超过MaxMetaspaceSize时,适当提高该值。如果释放空间过多,则适当降低该值。- 如果初始化的高水位线设置过低,上述高水位线调整情况会发生很多次,通过垃圾回收器的日志可以观察到Full GC多次调用。为了避免频繁的GC,建议将
-XX:MetaspaceSize
设置为一个相对较高的值
- 元空间区大小可以使用参数
package com.ming.java;
/**
* @Author: mei_ming
* @DateTime: 2022/11/5 19:53
* @Description: 测试设置方法区大小参数的默认值
*
* JDK1.7:
* 查看默认方法区大小及最大
* 1. jps
* 2. jinfo -flag PermSize 进程号
* 结果: -XX:PermSize=21757952
* 3. jinfo -flag MaxPermSize 进程号
* 结果: -XX:MaxPermSize=85983232
* 赋值
* -XX:PermSize=100m -XX:MaxPermSize=100m
*
* JDK1.8:
* jinfo -flag MetaspaceSize 进程号
* 结果: -XX:MetaspaceSize=21807104
* jinfo -flag MaxMetaspaceSize 进程号
* 结果: -XX:MaxMetaspaceSize=18446744073709486080(不固定)
*
* 赋值
* -XX:MetaspaceSize=100m -XX:MaxMetaspaceSize=100m
*/
public class MethodAreaDemo {
public static void main(String[] args) {
System.out.println("MethodAreaDemo start~");
try {
Thread.sleep(100000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
代码演示OOM
package com.ming.java;
import com.sun.xml.internal.ws.org.objectweb.asm.ClassWriter;
import jdk.internal.org.objectweb.asm.Opcodes;
/**
* @Author: mei_ming
* @DateTime: 2022/11/5 20:36
* @Description: 演示方法区OOM
* -XX:MetaspaceSize=10m -XX:MaxMetaspaceSize=10m (-XX:-UseCompressedOops)
*
* 9344
* Exception in thread "main" java.lang.OutOfMemoryError: Metaspace
*/
public class OOMTest extends ClassLoader{
public static void main(String[] args) {
int j=0;
try{
OOMTest test = new OOMTest();
for(int i=0;i<10000;i++){
//创建ClassWriter 对象,用于生成类的二进制字节码
ClassWriter classWriter = new ClassWriter(0);
//指明版本号,修饰符,类名,包名,父类,接口
classWriter.visit(Opcodes.V1_8,Opcodes.ACC_PUBLIC,"Class"+i,null,"java/lang/Object",null);
//返回byte[]
byte[] code = classWriter.toByteArray();
test.defineClass("Class"+i,code,0,code.length);
j++;
}
}finally {
System.out.println(j);
}
}
}
如何解决这些OOM?
- 要解决OOM异常或heap space 的异常,一般的手段是首先通过内存映像分析工具(Eclipse Memory Analyzer) 对dump出来的堆转储快照进行分析,重点是确认内存中的对象是否是必要的,也就是要分清楚到底是内存泄露还是内存溢出。
- 如果是内存泄露,可进一步通过工具查看泄露对象到GC Roots的引用链。于是就能找到泄露对象是通过怎样的路径与GC Roots 相关联并导致垃圾收集器无法自动回收它们的。掌握了泄露对象的类型信息,以及GC Roots引用链的信息,就可以比较准确地定位出泄露代码地位置。
- 如果不存在内存泄露,换句话说就是内存中地对象确实都还必须存活着,那就应当检查虚拟机地堆参数(-Xmx与-Xms),与机器物理内存比较看是否还可以调大,从代码上检查是否存在某些对象生命周期过长、持有状态时间过长的情况,尝试减少程序运行期的内存消耗。
方法区的内部结构
《深入理解Java虚拟机》书中对方法区(Method Area)存储内容描述如下:它用于存储已被虚拟机加载的类型信息,常量,静态变量,即时编译器编译后的代码缓存等。
类型信息
对每个加载的类型(类class,接口interface,枚举enum,注解annotation),JVM必须在方法区中存储以下类型信息:
- 这个类型的完整有效名称(全名=包名.类名)
- 这个类型直接父类的完整有效名,(对于interface或是java.lang.Object,都是没有父类)
- 这个类型的修饰符(public,abstract,final的某个子集)
- 这个类型直接接口的一个有序列表
域(Field)信息
也称属性信息。
- JVM必须在方法区中保存类型的所有域的相关信息以及域的声明顺序。
- 域的相关信息包括:域名称,域类型,域修饰符(public,private,protected,static,final,volatile,transient的某个子集)
方法(Method)信息
JVM必须保存所有方法的以下信息,同域信息一样包括声明顺序:
- 方法名称
- 方法的返回类型(或 void)
- 方法参数的数量和类型(按顺序)
- 方法的修饰符(public,private,protected,final,synchronized,native,abstract的一个子集)
- 方法的字节码(bytecodes)、操作数栈、局部变量表及大小(abstract和native方法除外)
- 异常表(abstract和native方法除外)
- 每个异常处理的开始位置、结束位置、代码处理在程序计数器中的偏移地址、被捕获的异常类的常量池索引
package com.ming.java;
import java.io.Serializable;
/**
* @Author: mei_ming
* @DateTime: 2022/11/6 13:18
* @Description: 测试方法区的内部构成
* 输入命令
* javap -v -p MethodInnerStrucTest.class
* 1. 类型信息
* public class com.ming.java.MethodInnerStrucTest extends java.lang.Object
* implements java.lang.Comparable<java.lang.String>, java.io.Serializable
* minor version: 0
* major version: 52
* flags: ACC_PUBLIC, ACC_SUPER
*
* 2. 域信息
* public int num;
* descriptor: I
* flags: ACC_PUBLIC
*
* private static java.lang.String str;
* descriptor: Ljava/lang/String;
* flags: ACC_PRIVATE, ACC_STATIC
*
* 3. 方法信息
* //默认提供的构造器:<init>() 方法:
* public com.ming.java.MethodInnerStrucTest();
* descriptor: ()V
* flags: ACC_PUBLIC
* Code:
* stack=2, locals=1, args_size=1
* 0: aload_0
* 1: invokespecial #1 // Method java/lang/Object."<init>":()V
* 4: aload_0
* 5: bipush 10
* 7: putfield #2 // Field num:I
* 10: return
* LineNumberTable:
* line 10: 0
* line 13: 4
* LocalVariableTable:
* Start Length Slot Name Signature
* 0 11 0 this Lcom/ming/java/MethodInnerStrucTest;
*
* //自定义方法信息:
* //stack:操作数栈深度
* //locals:局部变量表的大小
* //args_size: 参数大小(this)(静态方法没有this)
* public void test();
* descriptor: ()V
* flags: ACC_PUBLIC
* Code:
* stack=3, locals=2, args_size=1
* 0: bipush 20
* 2: istore_1
* 3: getstatic #3 // Field java/lang/System.out:Ljava/io/PrintStream;
* 6: new #4 // class java/lang/StringBuilder
* 9: dup
* 10: invokespecial #5 // Method java/lang/StringBuilder."<init>":()V
* 13: ldc #6 // String count:
* 15: invokevirtual #7 // Method java/lang/StringBuilder.append:(Ljava/lang/String;)Ljava/lang/StringBuilder;
* 18: iload_1
* 19: invokevirtual #8 // Method java/lang/StringBuilder.append:(I)Ljava/lang/StringBuilder;
* 22: invokevirtual #9 // Method java/lang/StringBuilder.toString:()Ljava/lang/String;
* 25: invokevirtual #10 // Method java/io/PrintStream.println:(Ljava/lang/String;)V
* 28: return
* LineNumberTable:
* line 23: 0
* line 24: 3
* line 25: 28
* LocalVariableTable:
* Start Length Slot Name Signature
* 0 29 0 this Lcom/ming/java/MethodInnerStrucTest;
* 3 26 1 count I
* //方法二中的异常表:
* Exception table:
* from to target type
* 2 5 8 Class java/lang/Exception
*
*
*/
public class MethodInnerStrucTest extends Object implements Comparable<String>, Serializable {
//属性
public int num = 10;
private static String str = "测试方法内部结构";
//构造器
//方法
public void test() {
int count = 20;
System.out.println("count: " + count);
}
public static int test2(int cal) {
int res = 0;
try {
int value = 30;
} catch (Exception e) {
e.printStackTrace();
}
return res;
}
@Override
public int compareTo(String o) {
return 0;
}
}
在方法区中还存储了是哪个类加载器加载的信息,和运行时常量池。
non-final的类变量
- 静态变量和类关联在一起,随着类的加载而加载,它们成为类数据在逻辑上的一部分。
- 类变量被类的所有实例共享,即使没有类实例时,你也可以访问它。
static final 全局常量
- 被声明为final的类变量的处理方法则不同,每个全局常量在编译的时候就会被分配了
代码说明:
package com.ming.java;
/**
* @Author: mei_ming
* @DateTime: 2022/11/6 13:44
* @Description: non-final的类变量
* javap -v -p Order.class
* Order中 count 与 number 的区别:
*
* public static int count;
* descriptor: I
* flags: ACC_PUBLIC, ACC_STATIC
*
* public static final int number;
* descriptor: I
* flags: ACC_PUBLIC, ACC_STATIC, ACC_FINAL
* ConstantValue: int 2
*
* 结论: 在non-final的类变量中,不会显示的赋值,是在类加载的'Prepare'赋值为0, 在initialization赋值为1
* 而final的类变量,编译期就已经显示的声明为 `ConstantValue: int 2`
*/
public class MethodAreaTest {
public static void main(String[] args) {
Order order = null;
order.hello(); // hello!
System.out.println(order.count); // 1
System.out.println(order.number); // 2
}
}
class Order{
public static int count=1;
public static final int number = 2;
public static void hello(){
System.out.println("hello!");
}
}
运行时常量池
- 方法区,内部包含了运行时常量池
- 字节码文件,内部包含了常量池
- 要弄清楚方法区,需要理解清楚ClassFile,因为加载类的信息都在方法区。
- 要弄清楚方法区的运行时常量池,需要理解清楚ClassFile中的常量池。
一个有效的字节码文件中除了包含类的版本信息、字段、方法以及接口等描述信息外,还包含一项信息那就是常量池表(Constant Pool Table),包括各种字面量和对类型、域、方法的符号引用。
为什么需要常量池?
一个java源文件中的类,接口,编译后产生一个字节码文件。而Java中的字节码需要数据支持,通常这种数据会很大以至于不能直接存到字节码里,换另一种方式,可以存到常量池,这个字节码包含了指向常量池的引用。在动态链接的时候会用到运行时常量池,之前有介绍。
比如,如下的代码:
public class SimpleClass{
public void sayHello(){
System.out.println("hello");
}
}
虽然只有194字节,但是里面却使用了String,System,PrintStrea及Object等结构,这里代码量其实已经很小了。如果代码多,引用到的结构会更多。这里就需要常量池了。
运行时常量池
- 运行时常量池(Runtime Constant Pool) 是方法区的一部分。
- 常量池表(Constant Pool Table)是Class文件的一部分,用于存放编译期生成的各种字面量与符号引用,这部分内容将在类加载后,存放到方法区的运行时常量池中。
- 运行时常量池,在加载类和接口到虚拟机后,就会创建对应的运行时常量池。
- JVM为每个已加载的类型**(类与接口**)都维护一个常量池。池中的数据项像数组项一样,是通过索引(1~count-1)访问的。
- 运行时常量池中包含多种不同的常量,包括编译期就已经明确的数值字面量,也包括到运行期解析后才能够获得的方法或者字段引用。此时不再是常量池中的符号地址了,这里换成真实地址。
- 运行时常量池,相对于Class文件常量池的另一重要特征是:具备动态性。
- 运行时常量池类似于传统编程语言中的符号表(symbol table) ,但是它所包含的数据却比符号表要更加丰富一些。
- 当创建类或接口的运行时常量池时,如果构造运行时常量池所需的内存空间超过方法区所能提供的最大值,则JVM会抛OutOfMemoryError异常。
方法区使用举例
package com.ming.java2;
/**
* @Author: mei_ming
* @DateTime: 2022/11/7 21:52
* @Description: 方法区的使用
*/
public class MethodAreaDemo {
public static void main(String[] args) {
int x = 500;
int y = 100;
int a = x / y;
int b = 50;
System.out.println(a + b);
}
}
- 初始状态
- 500压入操作数栈,计数器+1
- 500存入本地变量表中为1的位置,计数器+1
- 100压入操作数栈,计数器+1
- 100存入本地变量表中为2的位置,计数器+1
- 读取500到操作数栈中,计数器+1
- 读取100到栈顶,计数器+1
- 出栈相除再入栈,计数器+1
- 将5出栈,保存到本地变量表3位置,计数器+1
- 50入栈,计数器+1
- 50出栈,保存到局部变量表4位置上,计数器+1
- 获取类或接口字段的值,计数器+1
- 5入栈,计数器+1
- 50入栈,计数器+1
- 5和50出栈相加,结果55入栈,计数器+1
- 调用println()方法,计数器+1
- 执行结束,计数器+1
end
方法区的演进细节
- 首先明确:只有Hotspot才有永久代。
JRockit,J9是不存在永久代的概念的。 - Hotspot中方法区的变化:
-
JDK1.6
-
JDK1.7
-
JDK1.8
永久代为什么要被元空间替换?
- 随着Java8的到来,HotSpotVM中再也见不到永久代了,但是这并不意味着类的元数据信息也消失了,这些数据被移到了一个与堆不相连的本地内存区域,这个区域叫做元空间(Metaspace)。
- 由于类的元数据分配在本地内存中,元空间的最大可分配空间就是系统可用内存空间。
- 这项改动是很有必要的,原因有:
- 为永久代设置空间大小是很难确定的。
在某些场景下,如果动态加载类过多,容易产生Perm区的OOM。比如某个实际Web工程中,因为功能点比较多,在运行过程中,要不断动态加载很多类,经常出现致命错误。而元空间和永久代最大的区别在于:元空间并不在虚拟机中,而是使用本地内存。 - 对永久代进行调优是很困难的。
- 为永久代设置空间大小是很难确定的。
StringTable为什么要调整位置?
jdk7中将StringTable放到堆空间中。因为永久代的回收效率很低,在full gc的时候才会触发。而full gc是老年代的空间不足、永久代不足时才会触发。这就导致StringTable回收效率不高,而我们开发中会有大量的字符串被创建,回收效率低,导致永久代内存不足。放到堆里,能及时回收内存。
静态变量存在哪?
package com.ming.java2;
/**
* @Author: mei_ming
* @DateTime: 2022/11/8 20:24
* @Description: 静态引用对应的对象实体始终都存在堆空间
*
* jdk1.7:
* -Xms200m -Xmx200m -XX:PermSize=300m -XX:MaxPermSize=300m -XX:+PrintGCDetails
*
* jdk1.8:
* -Xms200m -Xmx200m -XX:MetaspaceSize=300m -XX:MaxMetaspaceSize=300m -XX:+PrintGCDetails
*
* Heap
* PSYoungGen total 59904K, used 4137K [0x00000000fbd80000, 0x0000000100000000, 0x0000000100000000)
* eden space 51712K, 8% used [0x00000000fbd80000,0x00000000fc18a618,0x00000000ff000000)
* from space 8192K, 0% used [0x00000000ff800000,0x00000000ff800000,0x0000000100000000)
* to space 8192K, 0% used [0x00000000ff000000,0x00000000ff000000,0x00000000ff800000)
* ParOldGen total 136704K, used 102400K [0x00000000f3800000, 0x00000000fbd80000, 0x00000000fbd80000)
* object space 136704K, 74% used [0x00000000f3800000,0x00000000f9c00010,0x00000000fbd80000)
* Metaspace used 3448K, capacity 4496K, committed 4864K, reserved 1056768K
* class space used 376K, capacity 388K, committed 512K, reserved 1048576K
*
* 总结: new byte[] 对象实体始终存在堆空间
*/
public class StaticFieldTest {
private static byte[] arr = new byte[1024*1024*100];
public static void main(String[] args) {
System.out.println(StaticFieldTest.arr);
// try {
// Thread.sleep(100000);
// } catch (InterruptedException e) {
// e.printStackTrace();
// }
}
}
案例2:
package com.ming.java2;
/**
* @Author: mei_ming
* @DateTime: 2022/11/8 20:55
* @Description: 案例: staticobj,instanceobj,localobj 存放在哪里?
*
* staticobj 随着Test类型信息存放在方法区,
* instanceobj 随着Test的对象实例,存放在Java堆
* loaclObj 随着foo()方法栈帧,存放在局部变量表中
*
* new 的对象实体都在堆中分配
*/
public class StaticObjTest {
static class Test{
static ObjectHolder staticobj = new ObjectHolder();
ObjectHolder instanceobj = new ObjectHolder();
void foo(){
ObjectHolder loaclObj=new ObjectHolder();
System.out.println("done");
}
}
private static class ObjectHolder{}
public static void main(String[] args) {
}
}
方法区的垃圾回收
虚拟机规范中没有明确指明,存在未实现或未能完整实现方法区类型卸载的收集器(JDK11中的ZGC收集器)
要回收的话,主要回收方法区的垃圾收集两个部分的内容:常量池中废弃的常量,不再使用的类型。
常量:
-
方法区内常量池之中主要存放的两大类常量:字面量和符号引用。
字面量比较接近Java语言层面上的常量概念,如文本字符串、被声明为final的常量值等。
符号引用则属于编译原理方面的概念,包括下面三大类:
1. 类和接口的全限定名
2. 字段的名称和描述符
3. 方法的名称和描述符 -
HotSpot 虚拟机对常量池的回收策略是很明确的,只要常量池中的常量没有被任何地方引用,就可以回收
类型信息:
判断一个类型是否属于“不再被使用的类”的条件比较苛刻,需要同时满足下面三个条件
- 该类的所有实例都已经被回收,也就是Java堆中不存在该类以及任何派生子类的实例
- 加载该类的类加载其已经被回收
- 该类对应的java.lang.Class 对象没有在任何地方被引用,无法在任何地方通过反射访问该类。
java虚拟机被允许对满足上述三个条件的无用类进行回收,仅仅是被允许,关于是否要对类型进行回收,hotspot虚拟机提供了 -Xnclassgc参数进行控制等
但是类型回收也是很有必要的,如:在大量使用反射、动态代理、CGLib等字节码框架,动态生成JSP以及OSGi这类频繁自定义加载器的场景中,通常都需要Java虚拟机具备类型卸载的能力,以保证不会对方法区造成过大的内存压力。
总结
运行时数据区图