JVM内存分配机制详解
前面写了几篇mysql的,今天想写点JVM的,顺序不固定了。JVM以后还会写类加载器,JVM内存模型。
JVM垃圾收集器,JVM调优实战。
下篇又回到mysql,写mysql的MVCC机制
JVM对象创建过程
1.类加载检查
虚拟机遇到一条new指令时,首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用,
并且检查这个 符号引用代表的类是否已被加载、解析和初始化过。
如果没有,那必须先执行相应的类加载过程。
new指令对应到语言层面上讲是,new关键词、对象克隆、对象序列化等。
2.分配内存
在类加载检查通过后,接下来虚拟机将为新生对象分配内存。对象所需内存的大小在类 加载完成后便可完全确定,为 对象分配空间的任务等同于把 一块确定大小的内存从Java堆中划分出来。
划分内存的方法:
1 指针碰撞,如果Java堆中内存是绝对规整的,所有用过的内存都放在一边,空闲的内存放在另一边,
中间放着一个指针作为分界点 的指示器,那所分配内存就仅仅是把那个指针向空闲空间那边挪动一段
与对象大小相等的距离。(默认)
2。空闲列表
如果Java堆中的内存并不是规整的,已使用的内存和空闲的内存相互交错,那就没有办法简单地进行指针碰撞了,
虚拟机就必须维护一个列表,记录上哪些内存块是可用的,在分配的时候从列表中找到一块足够大的空间,
划分给对象实例, 并更新列表上的记录
解决并发问题的方法:
在并发情况下,可能出现正在给对象A分配内存,指针还没来得及修改,对象B又同时使用了原来的指针来分配内存的 情况。
1.CAS(compare and swap) 就是都去抢那块空间,没抢到就重试。
2.本地线程分配缓冲(Thread Local Allocation Buffer,TLAB)
通过XX:+/ UseTLAB参数来设定虚拟机是否使用TLAB(JVM会默认开启XX:+UseTLAB),XX:TLABSize 指定TLAB大小。
3.初始化
对于对象成员变量,在对象new出来前会给个初值
4.设置对象头
对象不止有成员变量组成
重点说下类型指针,一个对象new出来是放堆里的,但是在这个对象的头部区域,有一个指针指向方法区对应这个类的类元信息
还有这么个对象,叫类对象,
这个mathClass肯定是放在堆区域。这个Math类的代码是放在方法区的,我们开发人员如果想访问这些类的代码,可以通过类对象。其实也就是反射。
JVM内部拿这些类对象,用的就是对象头里的类型指针,是C++实现的。
5.执行方法
就是为属性赋值,和执行构造方法。
比如给initData1赋值666就是执行init方法
对象头与指针压缩
举个例子,导入jolcore包
对象对齐是必须是8的整数倍。
什么是java对象的指针压缩?
- jdk1.6 update14开始,在64bit操作系统中,JVM支持指针压缩
- jvm配置参数:UseCompressedOops,compressed压缩、oop(ordinary object pointer)对象指针
- 启用指针压缩:XX:+UseCompressedOops(默认开启),禁止指针压缩:XX:UseCompressedOops
为什么要进行指针压缩?
- 在64位平台的HotSpot中使用32位指针,内存使用会多出1.5倍左右,使用较大指针在主内存和缓存之间移动数据, 占用较大宽带,同时GC也会承受较大压力
- 为了减少64位平台下内存的消耗,启用指针压缩功能
- 在jvm中,32位地址最大支持4G内存(2的32次方),可以通过对对象指针的压缩编码、解码方式进行优化,使得jvm 只用32位地址就可以支持更大的内存配置(小于等于32G)
- 堆内存小于4G时,不需要启用指针压缩,jvm会直接去除高32位地址,即使用低虚拟地址空间
- 堆内存大于32G时,压缩指针会失效,会强制使用64位(即8字节)来对java对象寻址,这就会出现1的问题,所以堆内 存不要大于32G为好
那么为什么指针压缩在堆内存大于32G就会失效呢?
在JVM中,32位最大支持内存地址是4G,可以通过堆对象指针存入堆内存的压缩编码,取出到CPU寄存器解码方式进行优化(对象指针在堆内存是32位,在寄存器是35位,2的35次方等于32G)。所以32位最多支持32G的内存配置。
假设没有指针压缩是35位就可以寻址32G内存空间。开启了指针压缩,就可以用32位的地址一样可以寻址到35位。
JVM对象内存分配,对象内存分配流程图
接下来依次讲解
对象栈上分配
我们通过JVM内存分配可以知道JAVA中的对象都是在堆上进行分配,
当对象没有被引用的时候,需要依靠GC进行回收内存,
如果对象数量较多的时候,会给GC带来较大压力,也间接影响了应用的性能。
为了减少临时对象在堆内分配的数量,JVM通过逃逸分析确定该对象不会被外部访问。
如果不会逃逸可以将该对象在栈上分配内存,这样该对象所占用的 内存空间就可以随栈帧出栈而销毁,就减轻了垃圾回收的压力。
对象逃逸分析:就是分析对象动态作用域,当一个对象在方法中被定义后,它可能被外部方法所引用,例如作为调用参数传递到其他地方中.如
很显然test1方法中的user对象被返回了,这个对象的作用域范围不确定,test2方法中的user对象我们可以确定当方法结 束这个对象就可以认为是无效对象了,对于这样的对象我们其实可以将其分配在栈内存里,让其在方法结束时跟随栈内存一起被回收掉。这个是JVM自己做的,进行逃逸分析,可以减少GC压力。非逃逸对象可以分配到栈上面。
JVM对于这种情况可以通过开启逃逸分析参数(-XX:+DoEscapeAnalysis)来优化对象内存分配位置,使其通过标量替换优先分配在栈上(栈上分配),JDK7之后默认开启逃逸分析,如果要关闭使用参数(-XX:-DoEscapeAnalysis)
一个对象通过逃逸分析发现能在栈里分配
1)标量替换:通过逃逸分析确定该对象不会被外部访问,并且对象可以被进一步分解时,JVM不会创建该对象,而是将该 对象成员变量分解若干个被这个方法使用的成员变量所代替,这些代替的成员变量在栈帧或寄存器上分配空间,这样就 不会因为没有一大块连续空间导致对象内存不够分配。开启标量替换参数(-XX:+EliminateAllocations),JDK7之后默认 开启。
2) 标量与聚合量:标量即不可被进一步分解的量,而JAVA的基本数据类型就是标量(如:int,long等基本数据类型以及 reference类型等),标量的对立就是可以被进一步分解的量,而这种量称之为聚合量。而在JAVA中对象就是可以被进一 步分解的聚合量。
/**
* 栈上分配,标量替换
* 代码调用了1亿次alloc(),如果是分配到堆上,大概需要1GB以上堆空间,如果堆空间小于该值,
* 必然会触发GC。
* 使用如下参数不会发生GC
* ‐Xmx15m ‐Xms15m ‐XX:+DoEscapeAnalysis ‐XX:+PrintGC ‐XX:+EliminateAllocations
* 使用如下参数都会发生大量GC
* ‐Xmx15m ‐Xms15m ‐XX:‐DoEscapeAnalysis ‐XX:+PrintGC ‐XX:+EliminateAllocations
* ‐Xmx15m ‐Xms15m ‐XX:+DoEscapeAnalysis ‐XX:+PrintGC ‐XX:‐EliminateAllocations
* */
public class AllotOnStack {
public static void main(String[] args) {
long start = System.currentTimeMillis();
for (int i = 0; i < 100000000; i++) {
alloc();
}
long end = System.currentTimeMillis();
System.out.println(end - start);
}
private static void alloc() {
User user = new User();
user.setId(1);
user.setName("zhuge");
}
}
逃逸分析,标量替换这俩个参数任何一个不开启都会出现大量GC。
开启的话,只有1次
JVM默认是开启标量替换和逃逸分析的。
对象在Eden区分配
大多数情况下,对象在新生代中 Eden 区分配。
当 Eden 区没有足够空间进行分配时,虚拟机将发起一次Minor GC。
我 们来进行实际测试一下。 在测试之前我们先来看看 Minor GC和Full GC 有什么不同呢?
Minor GC/Young GC:指发生新生代的的垃圾收集动作,Minor GC非常频繁,回收速度一般也比较快。
Major GC/Full GC:一般会回收老年代 ,年轻代,方法区的垃圾,Major GC的速度一般会比Minor GC的慢 10倍以上。
Eden与Survivor区默认8:1:1
大量的对象被分配在eden区,eden区满了后会触发minor gc,可能会有99%以上的对象成为垃圾被回收掉,剩余存活 的对象会被挪到为空的那块survivor区,下一次eden区满了后又会触发minor gc,把eden区和survivor区垃圾对象回 收,把剩余存活的对象一次性挪动到另外一块为空的survivor区,因为新生代的对象都是朝生夕死的,存活时间很短,所以JVM默认的8:1:1的比例是很合适的,
让eden区尽量的大,survivor区够用即可,
JVM默认有这个参数-XX:+UseAdaptiveSizePolicy(默认开启),会导致这个8:1:1比例自动变化,如果不想这个比例有变 化可以设置参数-XX:-UseAdaptiveSizePolicy
例子:
那我们继续加对象。看一下
简单解释一下为什么会出现这种情况: 因为给allocation2分配内存的时候eden区内存几乎已经被分配完了,我们刚刚看见了当Eden区没有足够空间进行分配时,虚拟机将发起一次MinorGC,GC期间虚拟机又发现allocation1无法存入Survior空间,所以只好把新生代的对象提前转移到老年代中去,老年代上的空间足够存放allocation1,所以不会出现 Full GC。执行Minor GC后,后面分配的对象如果能够存在eden区的话,还是会在eden区分配内存。可以执行如下代码 验证:
allocation3 = new byte[1000*1024];
allocation4 = new byte[1000*1024];
allocation5 = new byte[1000*1024];
allocation6 = new byte[1000*1024];
发现确实eden区涨了。
对象如何进入老年代
1.大对象直接进入老年代
大对象就是需要大量连续内存空间的对象(比如:字符串、数组)。
JVM参数 -XX:PretenureSizeThreshold 可以设置大对象的大小,
如果对象超过设置大小会直接进入老年代,不会进入年轻代,
这个参数只在 Serial 和ParNew两个收集器下 有效。
比如设置JVM参数:-XX:PretenureSizeThreshold=1000 (单位是字节) -XX:+UseSerialGC ,
再执行下面会发现大对象直接进了老年代,为什么要这样呢?
为了避免为大对象分配内存时的复制操作而降低效率。
如果知道系统里大量对象都比较大,而且这些对象不会被垃圾收集的,那就可以设置这个大对象参数,让它提早进入老年代。
2.长期存活的对象将进入老年代
既然虚拟机采用了分代收集的思想来管理内存,那么内存回收时就必须能识别哪些对象应放在新生代,哪些对象应放在 老年代中。为了做到这一点,虚拟机给每个对象一个对象年龄(Age)计数器。
如果对象在 Eden 出生并经过第一次 Minor GC 后仍然能够存活,并且能被 Survivor 容纳的话,将被移动到 Survivor 空间中,并将对象年龄设为1。对象在 Survivor 中每熬过一次 MinorGC,年龄就增加1岁,当它的年龄增加到一定程度 (默认为15岁,CMS收集器默认6岁,不同的垃圾收集器会略微有点不同),就会被晋升到老年代中。
对象晋升到老年代 的年龄阈值,可以通过参数 -XX:MaxTenuringThreshold 来设置。
那么什么时候设置这个参数呢?
如果说对象的生命周期不长,换句话说这些对象new出来之后,可能会用一段时间,但是不会特别长。比如能够推算系统80%对象经过3次minorGC能回收,
那么就可以设置分代年龄-XX:MaxTenuringThreshold=8,给Eden区腾出更多空间。
3.对象动态年龄判断
当前放对象的Survivor区域里(其中一块区域,放对象的那块s区),一批对象的总大小大于这块Survivor区域内存大小的 50%(-XX:TargetSurvivorRatio可以指定),那么此时大于等于这批对象年龄最大值的对象,就可以直接进入老年代了, 例如Survivor区域里现在有一批对象,年龄1+年龄2+年龄n的多个年龄对象总和超过了Survivor区域的50%,此时就会 把年龄n(含)以上的对象都放入老年代。
这个规则其实是希望那些可能是长期存活的对象,尽早进入老年代。
对象动态年龄判断机制一般是在minor gc之后触发的
4.老年代空间分配担保机制
年轻代每次minor gc之前JVM都会计算下老年代剩余可用空间
如果这个可用空间小于年轻代里现有的所有对象大小之和(包括垃圾对象)
就会看一个“-XX:-HandlePromotionFailure”(jdk1.8默认就设置了)的参数是否设置了
如果有这个参数,就会看看老年代的可用内存大小,是否大于之前每一次minor gc后进入老年代的对象的平均大小。
如果上一步结果是小于或者之前说的参数没有设置,那么就会触发一次Full gc,对老年代和年轻代一起回收一次垃圾
如果回收完还是没有足够空间存放新的对象就会发生"OOM
对象内存回收
1.引用计数法
给对象中添加一个引用计数器,每当有一个地方引用它,计数器就加1;当引用失效,计数器就减1;任何时候计数器为0 的对象就是不可能再被使用的。
这个方法实现简单,效率高,但是目前主流的虚拟机中并没有选择这个算法来管理内存,其最主要的原因是它很难解决 对象之间相互循环引用的问题。 所谓对象之间的相互引用问题,如下面代码所示:除了对象objA 和 objB 相互引用着对 方之外,这两个对象之间再无任何引用。但是他们因为互相引用对方,导致它们的引用计数器都不为0,于是引用计数算 法无法通知 GC 回收器回收他们
public static void main(String[] args) {
ReferenceCountingGc objA = new ReferenceCountingGc();
ReferenceCountingGc objB = new ReferenceCountingGc();
objA.instance = objB;
objB.instance = objA;
objA = null;
objB = null;
}
2.可达性分析算法
3.常见引用类型
java的引用类型一般分为四种:强引用、软引用、弱引用、虚引用
强引用:普通的变量引用
public static User user = new User();
软引用:将对象用SoftReference软引用类型的对象包裹,正常情况不会被回收,但是GC做完后发现释放不出空间存放新的对象,则会把这些软引用的对象回收掉。
软引用可用来实现内存敏感的高速缓存。比如浏览器回退,可以把回退页面的缓存放到软引用里,
因为这样的缓存可有可无。
public static SoftReference<User> user = new SoftReference<User>(new User());
弱引用:将对象用WeakReference软引用类型的对象包裹,弱引用跟没引用差不多,GC会直接回收掉,很少用
public static WeakReference<User> user = new WeakReference<User>(new User())
虚引用:虚引用也称为幽灵引用或者幻影引用,它是最弱的一种引用关系,几乎不用
4.finalize()方法最终判定对象是否存活
即使在可达性分析算法中不可达的对象,也并非是“非死不可”的,这时候它们暂时处于“缓刑”阶段,要真正宣告一 个对象死亡,至少要经历再次标记过程。
- 第一次标记并进行一次筛选。 筛选的条件是此对象是否有必要执行finalize()方法。 当对象没有覆盖finalize方法,对象将直接被回收。
- 第二次标记如果这个对象覆盖了finalize方法,finalize方法是对象脱逃死亡命运的最后一次机会,如果对象要在finalize()中成功拯救 自己,只要重新与引用链上的任何的一个对象建立关联即可,譬如把自己赋值给某个类变量或对象的成员变量,那在第二次标记时它将移除出“即将回收”的集合。
- 如果对象这时候还没逃脱,那基本上它就真的被回收了。 注意:一个对象的finalize()方法只会被执行一次,也就是说通过调用finalize方法自我救命的机会就一次。
- 标记的前提是对象在进行可达性分析后发现没有与GC Roots相连接的引用链。
例如:
public static void main(String[] args) {
List<Object> list = new ArrayList<>();
int i = 0;
int j = 0;
while (true) {
list.add(new User(i++, UUID.randomUUID().toString()));
new User(j--, UUID.randomUUID().toString());
}
}
public class User {
private int id;
private String name;
//byte[] a = new byte[1024*10];
public User(){}
public User(int id, String name) {
super();
this.id = id;
this.name = name;
}
@Override
protected void finalize() throws Throwable {
System.out.println("关闭资源,userid="+id);
}
public int getId() {
return id;
}
public void setId(int id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
}
当我重写finalize方法时,GC回收前会执行。此处就可以自救了
当然这种方法一般情况下是不会用的,会引起一些问题。
5.如何判断一个类是无用的类
方法区主要回收的是无用的类,那么如何判断一个类是无用的类的呢?
类需要同时满足下面3个条件才能算是 “无用的类” :
- 该类所有的实例都已经被回收,也就是 Java 堆中不存在该类的任何实例。
- 加载该类的 ClassLoader 已经被回收,一般自定义的类加载器会回收。
- 该类对应的 java.lang.Class 对象没有在任何地方被引用,无法在任何地方通过反射访问该类的方法。
综合案例分析
前面13秒的对象都会变成垃圾对象,但是最后1秒的对象不一定,因为minorGC时会STW,这些对象都被GCRoot引用,无法回收,按道理说会挪到S0区;因为对象年龄判断机制,年龄1的就已经超过S0区的50%了,所以会进入老年代。
每过14秒就有60M对象挪到老年代,那老年代几分钟就放满了,老年代放满触发full gc。这些对象都会被回收掉。所以频繁发生full gc。
调优就是扩大年轻代内存空间。