垃圾收集器及算法

一、垃圾收集算法

        

         1.分代收集理论

          当前虚拟机的垃圾收集都采用分代收集算法，只是根据对象存货周期的不同将内存分为几块。一般java堆分为新生代和老年代，可以根据各个年代的特点选择合适的垃圾收集算法。比如在新生代中，每次收集都会有大量的对象（99%）死去，所以可以选择复制算法，只需要付出少量对象的复制成本就可以完成每次垃圾收集。而老年代的对象存活几率是比较高的，而且没有额外的空间对它进行分配担保，所以我们必须选择标记清除或标记整理算法进行垃圾收集。但此两种算法会比复制算法慢10倍以上。

        2.标记-复制算法

        复制算法为了解决效率问题而出现，它将内存分为大小相同的两块，每次使用其中的一块。当这一块的内存使用完后，就将还存活的对象复制到另一块去（此时每次移动一次年龄+1，目前在年轻代的默认年龄是15，达到后会移向老年代，调优的时候也可适当降低对象的年龄），然后再将之前使用的空间一次清理掉。这样就使每次的内存回收都是对内存区间的一半进行回收。

         3.标记-清除算法

         算法分为“标记”和“清除”阶段：标记存活的对象，统一回收所有未被标记的对象（一般选择这种），也可以反过来，标记所有要回收的对象。但是会带来两个问题：

        ①效率问题（如果需要标记的对象太多，效率不高）

        ②空间问题（标记清除后会有大量不连续的碎片，影响后续对象的存入，空间利用率降低）

        

         3.标记-整理算法

         根据老年代的特点而出现的一种标记算法，标记过程仍然与“标记清除”算法一样，但后续步骤不是直接对可回收对象回收，而是让活的对象向一端移动，然后直接清理掉端边界以外的内存，有效的解决了标记清理算法的空间利用率问题

        

二、垃圾收集器

        垃圾收集器是内存回收的具体实现。我们能做的就是根据具体应用场景选择适合自己的垃圾收集器。

        1.Serial收集器（-XX: +UseSerialGC  -XX:+UseSerialOldGC)

        Serial （串行）收集器是最基本、历史最悠久的垃圾收集器，这个收集器是一个单线程收集器。它的“单线程”不仅仅意味着它只会使用一条垃圾收集线程去完成垃圾收集工作，更重要的是它在进行垃圾收集工作的时候必须暂停其他所有的工作线程（“Stop The World”）,直到收集结束。

        新生代采用复制算法，老年代采用标记-整理算法 

        

         优势：简单高效（与其他收集器的单线程相比），由于没有线程交互的开销，自然可以获取到很高的单线程收集效率。

        Serial Old收集器是Serial收集器的老年代版本，同样是一个单线程收集器；主要有两大用途，一种事JDK1.5以及之前的版本中与Parallel Scavenge收集器搭配使用，另一种用途是作为CMS收集器的后备方案。

        2. Parallel Scavenge收集器 （-XX：+UseParallelGC  -XX:+UseParallelOldGC)

        Parallel收集器就是Serial收集器的多线程版本，除了使用多线程进行垃圾收集外，其余行为（控制参数、收集算法、回收策略等等）和Serial收集器类似。默认的收集线程数跟cpu核数相同，当然也可以用参数（-XX : ParallelGCThreads）指定收集线程数。

Parallel Scavenge收集器关注点是吞吐量（高效率的利用CPU）。CMS等垃圾收集器关注点更多的是用户线程的停顿时间（提高用户体验）。所谓吞吐量就是CPU中利用用户代码的时间与CPU总消耗时间的比值。

        新生代采用复制算法，老年代采用标记-整理算法

        Parallel Old收集器是Parallel Scavenge收集器的老年代版本。使用多线程和标记整理算法。在注重吞吐量以及CPU的场合，都可以优先考虑（Parallel和Parallel Old是 JDK8默认的新生代和老年代收集器）

        3.ParNew 收集器（-XX: +UseParNewGC)

        ParNew收集器跟Parallel收集器很类似，区别主要在于他可以和CMS收集器配合使用

        新生代采用复制算法，老年代采用标记-整理算法

        它是许多运行在Server模式下的虚拟机的首要选择，除了Serial收集器外，只有它能与CMS收集器（真正意义上的并发收集器）配合工作。

        4.CMS收集器（-XX ：+UseConcMarkSweepGC(old))

        CMS(Concurrent Mark Sweep)收集器是一种以获取最短回收停顿时间为目标的收集器。它非常符合在注重用户体验的应用上使用，它是HotSpot虚拟机第一款真正意义上的并发收集器，第一次实现了让垃圾收集线程和用户线程（基本上）同时工作。

        CMS收集器是一种“标记-清除”算法实现的，整个过程分为4个步骤：
        ① 初始标记： （STW）暂停所有的其他线程，并记录下GC Roots直接能引用的对象，速度很快（此阶段不会向下寻找引用的对象）

        ② 并发标记： 并发标记阶段就是从GC Roots的直接关联对象开始遍历整个对象图的过程，这个过程耗时较长但是不需要停顿用户线程，可以与垃圾收集线程一起并发运行。因为用户程序继续运行，可能会导致已经标记过的对象状态发生改变。

        ③ 重新标记：（STW）重新标记阶段就是为了修正并发标记期间因为用户线程继续运行而导致标记产生变动的那一部分对象的标记记录，这个阶段的停顿时间一般会比初始标记阶段的时间稍长，远远比并发标记阶段时间短。面对并发标记阶段漏标的情况主要用到三色标记里的增量更新算法做重新标记

        ④ 并发清理：开启用户线程，同时GC线程开始对未标记的区域做清扫，这个阶段如果有新增对象会被标记为黑色不做任何处理。

        ⑤ 并发重置：重置本次GC过程中的标记数据

 优点：并发收集、低停顿

 缺点：1.对CPU资源敏感（会和服务抢资源）；

           2.无法处理浮动垃圾（在并发标记和并发清理阶段又产生垃圾，这种浮动垃圾只能等下一次gc再清理）

         3.使用的 “标记-清除算法”，会导致收集结束时有大量空间碎片产生，可通过参数 -XX：+UseCMSCompactAtFullCollection可以让jvm在执行完标记清除后再做整理

         4.执行过程中的不确定性，会存在上一次垃圾回收还没执行完，然后垃圾回收又被触发的情况，特别是在并发标记和并发清理阶段会出现，一边回收，系统一边运行，也许没回收完就再次触发full gc，也就是 concurrent mode failure,此时会进入stop the world ，转而用Serial old垃圾收集器来回收。

 但可能会由于动态年龄判断原则导致频繁full gc

 

        对于对象年龄应该为多少才移动到老年代比较合适，本例中一次minor gc要间隔二三十秒，大多数对象一般在几秒内就 会变为垃圾，完全可以将默认的15岁改小一点，比如改为5，那么意味着对象要经过5次minor gc才会进入老年代，整个 时间也有一两分钟了，如果对象这么长时间都没被回收，完全可以认为这些对象是会存活的比较长的对象，可以移动到 老年代，而不是继续一直占用survivor区空间。 对于多大的对象直接进入老年代(参数-XX:PretenureSizeThreshold)，这个一般可以结合你自己系统看下有没有什么大对象 生成，预估下大对象的大小，一般来说设置为1M就差不多了，很少有超过1M的大对象，这些对象一般就是你系统初始 化分配的缓存对象，比如大的缓存List，Map之类的对象。

 

 三、垃圾收集器底层算法实现（三色标记）

        在CMS并发标记的过程中，因为标记期间应用线程还在继续跑，对象间的引用可能发生变化，多标和漏标的情况就有可能发生。“三色标记”就是把gcroots可达性分析遍历对象过程中遇到的对象，按照“是否访问过”这个条件标记成以下三种颜色：

        ①黑色：表示对象已经被垃圾收集器访问过，且这个对象的所有引用都已经扫描过。黑色的对象代表已经扫描过，它是安全存货的，如果有其他对象引用指向了黑色对象，无需重新扫描一遍。黑色对象不可能直接（不经过灰色对象）指向某个白色对象。

        ②灰色：表示对象已经被垃圾收集器访问过，但这个对象上至少存在一个引用还没有被扫描过。

        ③白色：表示对象已经被垃圾收集器访问过。显然在可达性分析刚刚开始的阶段，所有的对象都是白色的，若在分析结束的阶段，仍然是白色的对象，即代表不可达

         多标-浮动垃圾

        在并发标记过程中，如果由于方法运行结束导致部分局部变量（gcroot）被销毁，这个gcroot引用的对象之前又被扫描过（被标记为非垃圾对象），那么本轮GC不会回收这部分内存。这部分本应该回收但是没有回收到的内存，被称之为“浮动垃圾”。浮动垃圾并不会影响垃圾回收的正确性，只是需要等到下一轮垃圾回收中才被清除。另外，针对并发标记（还有并发清理）开始后产生新的对象，通常的做法是直接全部当成黑色，本轮不会进行清除。这部分对象期间可能也会变为垃圾，这也算是浮动垃圾的一部分。

        漏标-读写屏障

        漏标会导致被引用的对象被当成垃圾误删除，这是严重bug，必须解决，有两种方案：增量更新（Incremental Update）和原始快照（Snapshot At The Beginning ，SATB）。

        增量更新：就是当黑色对象插入新的指向白色对象的引用关系时，就将这个插入的引用记录下来，等并发扫描结束之后，再将这些记录过的引用关系中的黑色对象为根，重新扫描一次。可以理解为，黑色对象一旦新插入了指向白色对象的引用之后，它就变回灰色对象了。如上图（D最开始被B对象引用，但是还没扫到，然后B不再引用了，直接A对其进行了引用，但此时D对象依然是白色的，A对象是黑色的，如果按照原有逻辑，A是黑色对象就不会再进行可达性分析扫描，gc的时候就会直接回收白色对象，所以此时引入了增量更新的概念，会利用写屏障，将A新的成员变量引用对象D记录下来，新增的引用关系存入一个集合中，再次对新增引用关系进行扫描）

        原始快照(SATB)：就是当灰色对象要删除指向白色对象的引用关系时（比如要修改为：obj B =null），就将这个要删除的引用记录下来，在并发扫描结束之后再将这些记录过的引用关系中的灰色对象为根，重新扫描一次，这样就能扫描到白色的对象，将白色对象直接标记为黑色（目的就是让这种对象在本轮gc清理中能存活下来，待下一轮gc的时候重新扫描，这个对象也有可能是浮动垃圾）（可理解为B=null之前，将之前的引用记录B=D（原来成员变量的引用对象D记录下来）存在集合中，重扫的时候按照这个集合中的状态进行扫描）

        以上无论是对引用关系记录的插入还是删除，虚拟机的记录操作都是通过写屏障（就是指在赋值操作前后加入一些处理如同AOP）来实现的。

        读屏障：是直接针对第一步，当读取成员变量时，一律记录下来，同时写屏障可以用于记录跨代/区引用的变化，读屏障可以用于支持移动对象的并发执行等

        目前追踪式（可达性分析）的垃圾回收器几乎都借鉴了三色标记的算法思想：比如白色/黑色集合一般都不会出现（但是有其他体现颜色的地方）、灰色集合可以通过栈/队列/缓存日志等方式进行实现、遍历方式可以是广度/深度遍历等等。

对于读屏障，以java HotSpot VM 为例，其并发标记时对漏标的处理方案如下：

        ● CMS: 写屏障+增量更新

        ●  G1,Shenandoah : 写屏障+SATB

        ●  ZGC:  读屏障

        为什么G1用SATB,CMS用增量更新？

        SATB相对增量更新效率会高（同时可能造成更多的浮动垃圾），因为不需要再重新标记阶段再次深度扫描被删除引用的对象，而CMS对增量引用的根对象会做深度扫描，G1因为很多对象都位于不同的region，CMS就一块老年代区域，重新深度扫描对象的话G1的代价会比CMS高，所以G1选择SATB不深度扫描对象，只是简单标记，等到下一轮GC再深度扫描。

        记忆集与卡表

        在新生代做GCRoots可达性扫描过程中可能会碰到跨代引用的对象，这种如果又去对老年代再去扫描效率太低了。 为此，在新生代可以引入记录集（Remember Set）的数据结构（记录从非收集区到收集区的指针集合），避免把整个 老年代加入GCRoots扫描范围。事实上并不只是新生代、 老年代之间才有跨代引用的问题， 所有涉及部分区域收集 （Partial GC） 行为的垃圾收集器， 典型的如G1、 ZGC和Shenandoah收集器， 都会面临相同的问题。 垃圾收集场景中，收集器只需通过记忆集判断出某一块非收集区域是否存在指向收集区域的指针即可，无需了解跨代引 用指针的全部细节。 hotspot使用一种叫做“卡表”(cardtable)的方式实现记忆集，也是目前最常用的一种方式。关于卡表与记忆集的关系， 可以类比为Java语言中HashMap与Map的关系。 卡表是使用一个字节数组实现：CARD_TABLE[ ]，每个元素对应着其标识的内存区域一块特定大小的内存块，称为“卡 页”。 hotSpot使用的卡页是2^9大小，即512字节

      一个卡页中可包含多个对象，只要有一个对象的字段存在跨代指针，其对应的卡表的元素标识就变成1，表示该元素变 脏，否则为0. GC时，只要筛选本收集区的卡表中变脏的元素加入GCRoots里。 卡表的维护 卡表变脏上面已经说了，但是需要知道如何让卡表变脏，即发生引用字段赋值时，如何更新卡表对应的标识为1。 Hotspot使用写屏障维护卡表状态。