大数据开发之JVM基础知识点

JVM

认知

      熟悉jvm架构以及垃圾回收机制以及相应的参数调优，有过在linux进行系统优化的经验

      线程和操作系统有关

      过程

           1）class文件通过类加载器加进内存区域---class loader类加载器

                 负责加载class文件，class文件在文件开头有特定的文件标示，并且ClassLoader只负责class文件的加载，至于它是否可以运行，则由Execution Engine决定

           2）Execution Engine执行引擎负责解释命令，提交操作系统执行

           3）Native Interface 本地接口

                 private native void start0();本地库接口

                      java native interface  JNI

                            调操作系统底层函数库，调c的函数

                 本地接口的作用是融合不同的编程语言为java所用，它的初衷是融合C/C++程序，java诞生的时候是C/C++横行的时候，要想立足，必须调用C程序，于是就在内存中专门开辟了一块区域处理标记为native代码，它的具体做法是Native Method Stack中登记native方法，在Execution Engine执行时加载native libraies.

                      目前该方法的使用越来越少了，除非是与硬件有关的应用，比如通过java程序驱动打印机，或者java系统管理生产设备，在企业级应用中已经比较少见

                            因为现在的异构领域间的通信很发达，比如可以使用Socket通信，也可以使用web service等等，不多介绍

           4）Runtime data area 运行数据区

                 Method Area方法区

                      方法区被所有线程共享，所有字段和方法字节码，以及一些特殊方法如构造函数，接口代码也在此定义。简单说，所有定义的方法的信息都保存在该区域，此区属于共享区间。

                            静态变量+常量+类信息+运行时常量池存在方法区中+实例变量存在堆内存中

                 PC Register 程序计数器

                      每个线程都有一个程序计数器，就是一个指针，指向方法区中的方法字节码（下一个将要执行的指令代码），由执行引擎读取下一条指令，是一个非常小的内存空间，几乎可以忽略不计

                 Native Method Stack 本地方法栈

                      它的具体做法是Native Method Stack中登记native方法，在Execution Engine执行时加载native libraies

      栈管运行，堆管存储

           栈也叫栈内存，主管java程序的运行，是在线程创建时创建，它的生命期是跟随线程的生命期，线程结束栈内存也就释放，对于栈来说不存在垃圾回收问题，只要线程一结束该栈就over，生命周期与线程一致，是线程私有的。基本类型的变亮和对象的引用变亮都是在函数的栈内存中国分配

                 每执行一个方法都会产生一个栈帧，保存到栈（后进先出）的顶部，顶部栈就是当前的方法，该方法执行完毕后会自动将此栈帧出栈

           栈帧中主要保存3类数据

                 本地变量：输入参数和输出参数以及方法内的变亮

                 栈操作：记录出栈，入栈的操作

                 栈帧数据：包括类文件，方法等等

      判断JVM优化在哪里

           方法区Method Area

           堆Heap

      三种JVM

           Sun公司的HotSpot

           BEA公司的JRockit

           IBM公司的J9 VM

堆Heap

      新生区

           伊甸区（Eden Space）

                 new对象

                      JVM垃圾回收器将对伊甸园区进行垃圾回收（Minor GC）

                      大概内存使用70%的时候，销毁九成以上的对象，剩下的进入幸存0区

           幸存0区（Survivor 0 Space）

           幸存1区（Survivor 1 Space）

      养老区（Tenure Generation Space）

           养老区用于保存从新生区筛选出来的java对象，一般池对象都在这个区域活跃

           如果养老区满了，那么这个时候将产生Major GC（FullGC），进行养老区的内存清理

               如果养老区执行了Full GC之后发现依然无法进行对象的保存，就会产生OOM异常“OutOfMemoryError”

      永久存储区（Permanent Space）

           永久存储区是一个常驻内存区域，用于存放JDK自身携带的Class，Interface的元数据，也就是说它存储的是运行环境必须的类信息，被装载进此区域的数据是不会被垃圾回收器回收掉的，关闭JVM才会释放此区域所占用的内存

           如果出现java.lang.OutOfMemoryError:PermGen space，说明是java虚拟机对永久性代Perm内存设置不够。一般这种情况，都是程序启动需要加载大量的第三方jar包。

                 例如：在一个tomcat下部署了太多的应用。或者大量动态反射生成的类不断被加载，最终导致Perm区被占满

                      jdk1.6及之前：有永久代，常量池在方法区

                      jdk1.7：有永久代，但已经逐步“去永久代”，常量池在堆

                      jdk1.8及之后：无永久代，常量池在元空间

      如果出现java.lang.OutOfMemoryError:java heap sapce异常，说明java虚拟机的堆内存不够。原因有二：

           1、java虚拟机设置的堆内存设置不够，可以通过参数-Xms、-Xmx来调整

           2、代码中创建了大量大对象，并且长时间不能被垃圾收集器收集（存在被引用）

 

JDK1.8

      JDK1.8之后将最初的永久代取消了，由元空间取代

           目的：将HotSpot与JRockit两个虚拟机标准

      JVM Heap

           -Xms  -Xmx

      Young Gen

           -Xmn

      堆内存调优简介

           -Xms

                 设置初始分配大小，默认为物理内存的“1/64”

           -Xmx

                 最大分配内存，默认为物理内存的“1/4”

           -XX:+PrintCGDetails

                 输出详细的CG处理日志

GC

      是什么

           频繁手机Young区

           较少收集Old区

           基本不动Perm区

      四大算法

           复制算法：MinorGC（普通GC）

                 新生代中使用的是Minor GC，这种GC算法采用的是复制算法（Copying）

                 Minor GC会把Eden中所有活的对象都移到Survivor区域中，如果Survivor区中放不下，那么剩下的活的对象就被移到Oldgeneration中，也即一旦收集后，Eden就变成空的了

                      当对象在Eden（包括一个Survivor区域，这里假设是from区域）出生后，在经过一次Minor GC后，如果对象还存活，并且能够被另外一块Survivor区域所容纳（上面已经假设为from区域，这里应为to区域，即to区域有足够的内存空间来存储Eden和From区域中存活的对象），则使用复制算法将这些仍然还存活的对象复制到另外一块Survivor区域（即to区域）中，然后清理所使用过的Eden以及Survivor区域（即from区域），并且将这些对象的年龄设置为1，以后对象在Survivor区每熬过一次Minor GC，就将对象的年龄+1，当对象的年龄达到某个值时（默认为15岁，通过-XX：MaxTenuringThreshold来设定参数），这些对象就会成为老年代

                      -XX：MaxTenuringThreshold

                            设置对象在新生代中存活的次数

                 复制算法不会产生内存碎片且对象完整不丢

                 复制算法弥补了标记/清除算法中，内存布局混乱的缺点。

                 缺点

                      1、他浪费了一半的内存，这太要命了

                      2、如果对象存活率高，我们可以极端一点，假设是100%存活，那么我们需要将所有对象都复制一遍，并将所有引用地址重置一遍。复制这一工作所花的时间，在对象存活率达到一定的程度时，将会变得不可忽视。所以从以上描述不难看出，复制算法要想使用，最起码对象的存活率要非常低才行，而且最重要的是，我们必须要克服50%内存的浪费

           标记清除/标记整理算法：FullGC又叫MajorGC（全局GC）

                 老年代一般是由标记清除或者是标记清除与标记整理的混合实现

                 标记清除（Mark-Sweep）

                      1、标记（Mark）

                            从根集合开始扫描，对存活对象进行标记

                      2、清除（Sweep）

                            扫描整个内存空间，回收未被标记的对象，使用free-list记录可以区域

                      优缺点

                            优点：不需要额外的空间

                            缺点：两次扫描耗时严重，会产生内存碎片

                 标记整理（Mark-Compact）

                      标记---整理--清除：达到内存连续，不需要额外的空间，不产生内存碎片

                      劣势

                            标记整理算法唯一的缺点就是效率也不高，不仅要标记所有存活对象，还要整理所有存活对象的引用地址。从效率上来说，标记整理算法要低于复制算法

           引用计数法

                 已经被淘汰，解决不了双端循环引用的问题

      总结

           内存效率

                 复制算法>标记清除>标记整理（此处的效率只是简单的对比时间复杂度，实际情况不一定如此）

           内存整齐度

                 复制算法=标记整理>标记清除

           内存利用率

                 标记整理=标记清除>复制算法

      分代收集算法

           最合适的算法

                 就是根据JVM不同的代，量体裁衣