JVM垃圾回收篇之相关概念和算法

垃圾回收相关概念

什么是垃圾

垃圾就是指在运行程序中没有任何指针指向的对象,这个对象就是需要被回收掉的垃圾,如果不及时进行清理,越积越多就会导致内存溢出.

为什么需要GC

不进行回收,早晚会导致内存溢出,Java自动管理垃圾回收,不需要开发人员手动干预,这就有可能导致开发人员缺少内存溢出时解决问题的能力,所以了解JVM垃圾回收的底层原理就变得非常重要,当垃圾回收成为系统性能瓶颈时,也需要开发人员去进行监控和调节.

垃圾回收区域

垃圾回收器可以对年轻代,老年代,甚至是全堆和方法区进行回收.其中Java堆是垃圾收集器的重点工作区.从次数上讲是频繁收集年轻代,较少收集老年代,基本不回收方法区(元空间)

System.gc()方法

• 在默认情况下，通过System.gc()或者Runtime.getRuntime().gc()的调用，会显式触发FullGC，同时对老年代和新生代进行回收，尝试释放被丢弃对象占用的内存。
• 然而System.gc()调用附带一个免责声明，无法保证对垃圾收集器的调用。
• JVM实现者可以通过System.gc()调用来决定JVM的GC行为。而一般情况下，垃圾回收应该是自动进行的，无须手动触发，否则就太过于麻烦了。在一些特殊情况下，如我们正在编写一个性能基准，我门可以在运行之间调用System.gc()。

finalize()方法

finalize作用

• finalize()与C++中的析构函数不是对应的。C++中的析构函数调用的时机是确定的(对象离开作用域或delete掉)，但Java中的finalize的调用具有不确定性
• 不建议用finalize方法完成“非内存资源”的清理工作，但建议用于:
• 清理本地对象(通过JNI创建的对象);
• 作为确保某些非内存资源(如Socket、文件等)释放的一个补充:在finalize方法中显式调用其他资源释放方法。

finalize的执行过程(生命周期)

(1)首先，大致描述一下finalize流程: 当对象变成(GC Roots)不可达时，GC会判断该对象是否覆盖了finalize方法，若未覆盖，则直接将其回收。否则，若对象未执行过finalize方法，将其放入F-Queue队列，由一低优先级线程执行该队列中对象的finalize方法。执行finalize方法完毕后，GC会再次判断该对象是否可达，若不可达，则进行回收，否则，对象“复活”
(2) 具体的finalize流程:
对象可由两种状态，涉及到两类状态空间，一是终结状态空间 F = unfinalized,finalizablefinalized}; 二是可达状态空间 R = reachable, finalizer-reachable, unreachable》。各状态含义如下:

• unfinalized; 新建对象会先进入此状态，GC并未准备执行其finalize方法，因为该对象是可达的
• finalizable: 表示GC可对该对象执行finalize方法，GC已检测到该对象不可达。正如前面所述，GC通过F-Queue队列和一专用线程完成finalize的执行
• finalized: 表示GC已经对该对象执行过finalize方法
• reachable: 表示GC Roots引用可达
• finalizer-reachable(f-reachable): 表示不是reachable，但可通过某finalizable对象可达

finalize的问题

• 一些与finalize相关的方法，由于一些致命的缺陷，已经被废弃了，如System.runFiralizersOnExit()方法,Runtime.runFinalizersOnExit()方法
• System.gc)与System.runFinalization()方法增加了finalize方法执行的机会，但不可盲目依赖它们
• Java语言规范并不保证finalize方法会被及时地执行、而且根本不会保证它们会被执行
• finalize方法可能会带来性能问题。因为JVM通常在单独的低优先级线程中完成finalize的执行
• 对象再生问题: finalize方法中，可将待回收对象赋值给GC Roots可达的对象引用，从而达到对象生的目的
• finalize方法至多由GC执行一次(用户当然可以手动调用对象的finalize方法，但并不影响GC对finalize的行为)

内存溢出

• 内存溢出相对于内存泄漏来说，尽管更容易被理解，但是同样的，内存溢出也是引发程序崩溃的罪魁祸首之一。
• 由于GC一直在发展，所有一般情况下，除非应用程序占用的内存增长速度非常快，造成垃圾回收已经跟不上内存消耗的速度，否则不太容易出现OOM的情况。
• 大多数情况下，GC会进行各种年龄段的垃圾回收，实在不行了就放大招，来一次独占式的Ful1 GC操作，这时候会回收大量的内存，供应用程序继续使用。
• javadoc中对OutofMemoryError的解释是，没有空闲内存，并且垃圾收集器也无法提供更多内存。

内存不够的原因

首先说没有空闲内存的情况: 说明Java虚拟机的堆内存不够。原因有二:
(1) Java虚拟机的堆内存设置不够。
比如:可能存在内存泄漏问题， 也很有可能就是堆的大小不合理，比如我们要处理比较可观的数据量，但是没有显式指定JVM堆大小或者指定数值偏小。我们可以通过参数-Xms、-Xmx来调整。
(2)代码中创建了大量大对象,并且长时间不能被垃圾收集器收集 (存在被引用)
对于老版本的oracle JDK，因为永久代的大小是有限的，并且JVM对永久代垃圾回收(如，常量池回收、卸载不再需要的类型) 非常不积极，所以当我们不断添加新类型的时候，永久代出现outofMemoryError也非常多见，尤其是在运行时存在大量动态类型生成的场合;类似intern字符串缓存占用太多空间，也会导致OOM问题。对应的异常信息，会标记出来和永久代相关:“java.lang.OutofMemoryError: PermGen space”
随着元数据区的引入，方法区内存已经不再那么窘迫，所以相应的OOM有所改观，出现00M，异常信息则变成了:“java.lang.OutofMemoryError: Metaspace”。i直接内存不足，也会导致OOM。

内存泄露

内存泄露8种形态

• 静态集合内部类:静态集合类，如HashMap、LinkedList等等。如果这些容器为静态的，那么它们的生命周期与JVM程序一致，则容器中的对象在程序结束之前将不能被释放，从而造成内存泄漏。简单而言，长生命周期的对象持有短生命周期对象的引用，尽管短生命周期的对象不再使用但是因为长生命周期对象持有它的引用而导致不能被回收。
• 单例模式:与静态集合导致内存泄露的原因类似，因为单例的静态特性，它的生命周期和JVM 的生命周期一样长，所以如果单例对象如果持有外部对象的引用，那么这个外部对象也不会被回收，那么就会造成内存泄漏。
• 内部类持有外部锁:内部类持有外部类，如果一个外部类的实例对象的方法返回了一个内部类的实例对象。这个内部类对象被长期引用了，即使那个外部类实例对象不再被使用，但由于内部类持有外部类的实例对象，这个外部类对象将不会被垃圾回收，这也会造成内存泄漏。
• 各种连接,如数据库连接,网络连接和IO连接等:各种连接，如数据库连接、网络连接和IO连接等在对数据库进行操作的过程中，首先需要建立与数据库的连接，当不再使用时，需要调用close方法来释放与数据库的连接。只有连接被关闭后，垃圾回收器才会回收对应的对象否则，如果在访问数据库的过程中，对Connection、Statement或ResultSet不显性地关闭，将会造成大量的对象无法被回收，从而引起内存泄漏。
• 变量不合理的作用域:变量不合理的作用域。一般而言，一个变量的定义的作用范围大于其使用范围，很有可能会造成内存泄漏。另一方面，如果没有及时地把对象设置为nu11，很有可能导致内存泄漏的发生
• 改变哈希值:改变哈希值，当一个对象被存储进HashSet集合中以后，就不能修改这个对象中的那些参与计算哈希值的字段了。否则，对象修改后的哈希值与最初存储进HashSet集合中时的哈希值就不同了，在这种情况下，即使在contains方法使用该对象的当前引用作为的参数去HashSet集合中检索对象也将返回找不到对象的结果，这也会导致无法从HashSat集合中单独删除当前对象，造成内存泄漏。
• 缓存泄露:内存泄漏的另一个常见来源是缓存，一旦你把对象引用放入到缓存中，他就很容易遗忘。比如:之前项目在一次上线的时候，应用启动奇慢直到夯死，就是因为代码中会加载一个表中的数据到缓存(内存) 中，测试环境只有几百条数据，但是生产环境有几百万的数据
• 监听器和回调:内存泄漏另一个常见来源是监听器和其他回调，如果客户端在你实现的API中注册回调，却没有显式的取消，那么就会积聚需要确保回调立即被当作垃圾回收的最佳方法是只保存它的弱引用，例如将他们保存成为WeakHashMap中的键。

垃圾回收的并行和并发

并行的多个任务之间是不互相抢占资源的。
只有在多CPU或者一个CPU多核的情况中，才会发生并行。
否则，看似同时发生的事情，其实都是并发执行的。
并发和并行，在谈论垃圾收集器的上下文语境中，它们可以解释如下:

• 并行 (Paralle1) : 指多条垃圾收集线程并行工作，但此时用户线程仍处于等待状态
• 如ParNew、Parallel Scavenge、Parallel old;
• 串行 (Serial)
• 相较于并行的概念，单线程执行。
• 如果内存不够，则程序暂停，启动JVM垃圾回收器进行垃圾回收。回收完，再启动程序的线程。
• 并发 (Concurrent) : 指用户线程与垃圾收集线程同时执行(但不一定是并行的，可能会交替执行)，垃圾回收线程在执行时不会停顿用户程序的运行。
• 用户程序在继续运行，而垃圾收集程序线程运行于另一个CPU上;
• 如:CMS,G1

安全点和安全区域

安全点

程序执行时并非在所有地方都能停顿下来开始 GC，只有在特定的位置才能停顿下来开始GC，这些位置称为“安全点 (Safepoint) ”
safe Point的选择很重要，如果太少可能导致GC等待的时间太长，如果太频繁可能导致运行时的性能问题。大部分指令的执行时间都非常短暂，通常会根据“是否具有让程序长时间执行的特征”为标准。比如: 选择一些执行时间较长的指令作为Safe Point，如方法调用、循环跳转和异常跳转等。
如何在GC发生时，检查所有线程都跑到最近的安全点停顿下来呢?

• 抢先式中断:(目前没有虚拟机采用了 )首先中断所有线程。如果还有线程不在安全点，就恢复线程，让线程跑到安全点。
• 主动式中断:
  设置一个中断标志，各个线程运行到safe Pont的时候主动轮询这个标志，如果中断标志为真，则将自己进行中断挂起。

安全区域

Safepoint 机制保证了程序执行时，在不太长的时间内就会遇到可进入 GC 的Safepoint 。但是，程序“不执行”的时候呢? 例如线程处于 Sleep 状态或Blocked 状态，这时候线程无法响应 JVM 的中断请求，“走”到安全点去中断挂起，JVM 也不太可能等待线程被唤醒。对于这种情况，就需要安全区域 (Safe Region)来解决。
安全区域是指在一段代码片段中，对象的引用关系不会发生变化，在这个区域中的任何位置开始GC都是安全的。我们也可以把 Safe Region 看做是被扩展了的 safepoint。
实际执行时:

• 当线程运行到Safe Region的代码时，首先标识已经进入了Safe Region，如果这段时间内发生GC，JVM会忽略标识为Safe Region状态的线程;
• 当线程即将离开Safe Region时，会检查JVM是否已经完成GC，如果完成了，则继续运行，否则线程必须等待直到收到可以安全离开Safe Region的信号为止;

垃圾回收算法

垃圾判别阶段算法

引用计数法

对每个对象保存一个整型的引用计数器属性,用于记录对象被引用的情况,为0就表示没有任何引用

优缺点

优点:实现简单,垃圾对象便于辨识,判定效率高,回收没有延迟性
缺点:

• 他需要单独的字段存储计数器,这样的做法增加了存储空间的开销(其实是可以接受的,现在硬件资源没那么昂贵了)
• 每次赋值需要更新计数器,增加时间开销(其实也还OK,现在都是多核高频CPU了)
• 重点问题:它无法解决循环引用的问题,这是一个非常致命的缺陷会导致互相引用的对象内存泄露,所以java并没有使用这种算法

使用这种方法怎么解决循环引用

• 引用计数算法，是很多语言的资源回收选择，例如因人工智能而更加火热的Python，它更是同时支持引用计数和垃圾收集机制。
• 具体哪种最优是要看场景的，业界有大规模实践中仅保留引用计数机制，以提高吞吐量的尝试。
• Java并没有选择引用计数，是因为其存在一个基本的难题，也就是很难处理循环引用关系.
• Pvthon如何解决循环引用?
• 手动解除: 很好理解，就是在合适的时机，解除引用关系。
• 使用弱引用weakef，weakref是Python提供的标准库，旨在解决循环引用。

可达性分析算法(跟搜索算法)

• 相对于引用计数算法而言，可达性分析算法不仅同样具备实现简单和执行高效等特点，更重要的是该算法可以有效地解决在引用计数算法中循环引用的问题，防止内存泄漏的发生。
• 相较于引用计数算法，这里的可达性分析就是Java、C#选择的。这种类型的垃圾收集通常也叫作追踪性垃圾收集 (Tracing Garbage Collection)。

原理思路

原理:其原理简单来说，就是将对象及其引用关系看作一个图，选定活动的对象作为 GC Roots，然后跟踪引用链条，如果一个对象和GC Roots之间不可达，也就是不存在引用链条，那么即可认为是可回收对象。
基本思路:

• 可达性分析算法是以根对象集合(GC Roots)为起始点，按照从上至下的方式搜索被根对象集合所连接的目标对象是否可达。
• 使用可达性分析算法后，内存中的存活对象都会被根对象集合直接或间接连接着，搜索所走过的路径称为引用链(Reference Chain)
• 如果目标对象没有任何引用链相连，则是不可达的，就意味着该对象已经死亡，可以标记为垃圾对象。
• 在可达性分析算法中，只有能够被根对象集合直接或者间接连接的对象才是存活对象。

GC Roots都有什么

• 在Java 语言中， GC Roots 包括以下几类元素:
• 虚拟机栈中引用的对象
• 比如:各个线程被调用的方法中使用到的参数、局部变量等。
• 本地方法栈内JNI(通常说的本地方法)引用的对象
• 类静态属性引用的对象
• 比如: Java类的引用类型静态变量
• 方法区中常量引用的对象
• 比如: 字符串常量池 (string Table) 里的引用
• 所有被同步锁synchronized持有的对象
• Java虚拟机内部的引用。
• 基本数据类型对应的class对象，一些常驻的异常对象 (如: NullPointerException、OutofMemoryError) ，系统类加载器
• 反映java虚拟机内部情况的JMXBean、JVMTI中注册的回调、本地代码缓存等
• 除了这些固定的GC Roots集合以外，根据用户所选用的垃圾收集器以及当前回收的内存区域不同，还可以有其他对象“临时性”地加入，共同构成完整GC Roots集合。比如: 分代收集和局部回收(Partial GC) 。
• 如果只针对Java堆中的某一块区域进行垃圾回收(比如:典型的只针对新生代》，必须考虑到内存区域是虚拟机自己的实现细节，更不是孤立封闭的，这个区域的对象完全有可能被其他区域的对象所引用，这时候就需要一并将关联的区域对象也加入GC Roots集合中去考虑，才能保证可达性分析的准确性。

小技巧:由于Root采用栈方式存放变量和指针,所以如果一个指针,它保存了堆内存里面的对象,但是自己又不存放在堆内存里面,那它就是一个Root

注意点

• 如果要使用可达性分析算法来判断内存是否可回收，那么分析工作必须在一个能保障一致性的快照中进行。这点不满足的话分析结果的准确性就无法保证。
• 这点也是导致GC进行时必须“stop The world”的一个重要原因。即使是号称(几乎) 不会发生停顿的CMS收集器中，枚举根节点时也是必须要停顿的.

垃圾清楚阶段算法

标记清除算法

背景:
标记 - 清除算法( Mark-Sweep 是一种非常基础和常见的垃圾收集算法，该算法被J.McCarthy等人在1960年提出并并应用于Lisp语言。
执行过程:
当堆中的有效内存空间 (available memory) 被耗尽的时候，就会停止整个程序 (也被称为stop the world)，然后进行两项工作，第一项则是标记，第二项则是清除。

• 标记: Collector从引用根节点开始遍历，标记所有被引用的对象。一般是在对象的Header中记录为可达对象。
• 清除: Collector对堆内存从头到尾进行线性的遍历，如果发现某个对象在其Header中没有标记为可达对象，则将其回收。
  很多书、视频讲错了! 说是标记的垃圾对象。这里要注意了!这里是把不是垃圾的标记出来
  

缺点

• 效率比较低: 递归与全堆对象遍历两次
• 在达行GC的时候，需要停止整个应用程序，导致用户体验差
• 这种方式清理出来的空闲内存是不连续的，产生内存碎片

这里所谓的清除并不是真的置空，而是把需要清除的对象地址保存在空闲的地址列表里。下次有新对象需要加载时，判断垃圾的位置空间是否够，如果够，就存放。

复制算法

将活着的内存空间分为两块，每次只使用其中一块，在垃圾回收时将正在使用的内存中的存活对象复制到未被使用的内存块中，之后清除正在使用的内存块中的所有对象，交换两个内存的角色，最后完成垃圾回收。

优缺点

优点:

• 没有标记和清除过程，实现简单，运行高效
• 复制过去以后保证空间的连续性，不会出现“碎片”问题。
  缺点:
• 此算法的缺点也是很明显的就是需要两倍的内存空间。
• 对于G1这种分拆成为大量region的GC，复制而不是移动，意味着GC需要维护region之间对象引用关系，不管是内存占用或者时间开销也不小。
  特别的:
• 如果系统中的存活对象很多，复制算法不会很理想。因为复制算法需要复制的存活对象数量并不会太大，或者说非常低才行。

标记-压缩算法

背景:
复制算法的高效性是建立在存活对象少、垃圾对象多的前提下的。这种情况在新生代经常发生，但是在老年代，更常见的情况是大部分对象都是存活对象。如果依然使用复制算法，由于存活对象较多，复制的成本也将很高。因此，基于老年代垃圾回收的特性，需要使用其他的算法。
标记一清除算法的确可以应用在老年代中，但是该算法不仅执行效率低下，而且在执行完内存回收后还会产生内存碎片，所以JVM 的设计者需要在此基础之上进行改进。标记 压缩(MarkCompact) 算法由此诞生。
执行过程:

• 第一阶段和标记-清除算法一样，从根节点开始标记所有被引用对象
• 第二阶段将所有的存活对象压缩到内存的一端，按顺序排放。
• 之后，清理边界外所有的空间。
  标记-压缩算法的最终效果等同于标记-清除算法执行完成后，再进行一次内存碎片整理，因此也可以把它称为标记-清除-压缩 (Mark-Sweep-Compact) 算法。
  两者的本质差异在于标记-清除算法是一种非移动式的回收算法，标记-压缩是移动式的。是否移动回收后的存活对象是一项优缺点并存的风险决策。
  可以看到，标记的存活对象将会被整理，按照内存地址依次排列，而未被标记的内存会被清理掉如此一来，当我们需要给新对象分配内存时，JVM只需要持有一个内存的起始地址即可，这比维护一个空闲列表显然少了许多开销。
  

优缺点

优点:(此算法消除了“标记-清除”和“复制”两个算法的弊端。)

• 消除了标记/清除算法当中，内存区域分散的缺点，我们需要给新对象分配内存时，JVM只需要持有一个内存的起始地址即可。
• 消除了复制算法当中，内存减半的高额代价。
  缺点:
• 从效率上来说，标记-压缩算法要低于复制算法。
• 效率不高，不仅要标记所有存活对象，还要整理所有存活对象的引用地址。
• 对于老年代每称都有大量对象存活的区域来说，极为负重。
• 移动对象的同时，如果对象被其他对象引用，则还需要调整引用的地址。
• 移动过程中，需要全程暂停用户应用程序。即: STW

分代收集算法

效率上来说，复制算法是当之无愧的老大，但是却浪费了太多内存。
而为了尽量兼顾上面提到的三个指标，标记-整理算法相对来说更平滑一些，但是效率上不尽如人意，它比复制算法多了一个标记的阶段，比标记-清除多了一个整理内存的阶段。
分代收集算法，是基于这样一个事实:不同的对象的生命周期是不一样卵。因此，不同生命周期的对象可以采取不同的收集方式，以便提高回收效率。一般是把Java堆分为新生代和老年代，这样就可以根据各个年代的特点使用不同的回收算法，以提高垃圾回收的效率。
在Java程序运行的过程中，会产生大量的对象，其中有些对象是与业务信息相关，比如Http请求中的session对象、线程、Socket连接，这类对象跟业务直接挂钩，因此生命周期比较长。但是还有一些对象，主要是程序运行过程中生成的临时变量，这些对象生命周期会比较短，比如: string对象，由于其不变类的特性，系统会产生大量的这些对象，有些对象甚至只用一次即可回收。

分代详细说明

目前几乎所有的GC都是采用分代收集 (Generational Collecting) 算法执行垃圾回收的。
在HotSpot中，基于分代的概念，GC所使用的内存回收算法必须结合年轻代和老年代各自的特点。
年轻代(Young Gen)
年轻代特点:区域相对老年代较小，对象生命周期短、存活率低，回收频繁.
这种情况复制算法的回收整理，速度是最快的。复制算法的效率只和当前存活对象大小有关，因此很适用于年轻代的回收。而复制算法内存利用率不高的问题，通过hotspot中的两个survivor的设计得到缓解。
老年代(Tenured Gen) l
老年代特点: 区域较大，对象生命周期长、存活率高，回收不及年轻代频繁.
这种情况存在大量存活率高的对象，复制算法明显变得不合适。一般是由标记-清除或者是标记-清除与标记-整理的混合实现。

• Mark阶段的开销与存活对象的数量成正比。
• Sweep阶段的开销与所管理区域的大小成正相关
• Compact阶段的开销与存活对象的数据成正比。
  以HotSpot中的CMS回收器为例，CMS是基于Mark-Sweep实现的，对于对象的回收效率很高。而对于碎片问题，CMS采用基于Mark-Compact算法的serial ld回收器作为补偿措施:当内存回收不佳(碎片导致的Concurrent Mode Eailure时)，将采用serial old执行FulI GC以达到对老年代内存的整理。
  分代的思想被现有的虚拟机广泛使用。几乎所有的垃圾回收器都区分新生代和老年代。

增量升级算法

上述现有的算法，在垃圾回收过程中，应用软件将处于一种stop the world 的状态。在stop the world 状态下，应用程序所有的线程都会挂起，暂停一切正常的工作，等待垃圾回收的完成。如果垃圾可收时间过长，应用程序会被挂起很久，将严重影响用户体验或者系统的稳定性。为了解决这个问题，即对实时垃圾收集算法的研究直接导致了增量收集 (Incremental collecting) 算法的诞生。
基本思想:
如果一次性将所有的垃圾进行处理，需要造成系统长时间的停顿，那么就可以让垃圾收集线程和应用程序线程交替执行。每次，垃圾收集线程只收集一小片区域的内存空间，接着切换到应用程序线程。依次反复，直到垃圾收集完成。
总的来说，增量收集算法的基础仍是传统的标记-清除和复制算法。增量收集算法通过对线程间冲突的妥善处理，允许垃圾收集线程以分阶段的方式完成标记、清理或复制工作。

缺点

使用这种方式，由于在垃圾回收过程中，间断性地还执行了应用程序代码，所以能减少系统的停顿时间。但是，因为线程切换和上下文转换的消耗，会使得垃圾回收的总体成本上升，造成系统吞吐量的下降

分区算法

每一个小区间都独立使用，独立回收。这种算法的好处是可以控制一次回收多少个小区间。
-般来说，在相同条件下，堆空间越大，一次GC时所需要的时间就越长，有关GC产生的停顿也越长。为了更好地控制GC产生的停顿时间，将一块大的内存区域分割成多个小块，根据目标的停顿时间，每次合理地回收若干个小区间，而不是整个堆空间，从而减少一次GC所产生的停顿。