Java OOM 分析和线程Dump分析

Java OOM 分析

Java堆内存溢出

在Java堆中只要不断的创建对象，并且GC-Roots到对象之间存在引用链，这样JVM就不会回收对象。
只要将-Xms（最小堆），-Xmx(最大堆)设置为一样禁止自动扩展堆内存。
当使用一个while(true)循环来不断创建对象就会发生OutOfMemory，还可以是用-XX:+HeapDumpOutofMemoryError当发生OOM时会自动dump堆栈到文件中。
伪代码：

当出现OOM时可以通过工具来分析GC-Roots引用链，查看对象和GC-Roots是如何进行关联的，是否存在对象的生命周期过长，或者是这些对象确实该存在的，那就要考虑将堆内内存调大了。

java.lang.OutOfMemoryError:Java heap space表示堆内存溢出。

MetaSpace(元数据)内存溢出

JDK8中将永久代溢出，是用MateSpace来保存类加载之后的类信息，字符串常量池也被移动到Java堆。
PermSize和MaxPermSize已经不能是用了，在JDK8中配置这两个参数会发出警告。
JDK8中将类信息移到了本地堆内存（Native Heap）中，将原来的永久代移动到了本地堆中成为了MetaSpace，如果不指定该区域的大小，JVM将会动态的调整。
可以是用-XX:MaxMetaspaceSize=10M来限制最大元数据。这样当不停的创建类时将会占用该区域并出现OOM。

是用cglib不停的创建新类，最终会抛出：

TIP:
这里的OOM伴随的是java.langOutOfMemoryError:MetaSpace也就是元数据溢出。

Java线程Dump分析

什么是Thread Dump

Thread Dump是非常有用的诊断Java应用问题的工具。每个Java虚拟机都有及时生成所有线程在某一点状态的thread-dump的能力，虽然各个Java虚拟机打印的thread-dump略有不同。但是大多都提供了当前活动线程的快照，及JVM中所有线程的堆栈跟踪信息，堆栈信息一般包含完整的类名及执行的方法，如果可能的话还有源代码的行数。

Thread Dump特点

• 能在各钟操作系统下使用；
• 能在各种Java应用服务器下使用；
• 能在生成环境下使用而不影响系统的性能；
• 能将问题直接定位到应用程序的代码行上；

Thread Dump抓取

一般当服务器挂起，崩溃或者性能低下时，就需要抓取服务器的线程堆栈（Thread Dump）用于后续的分析。在实际运行中，往往一次dumo的信息，还不足以确认问题。为了反映线程状态的动态变化，需要接连多次做thread dump，每次间隔10-20s，建议至少产生三次dump信息，如果每次dump都指向同一个问题，我们才能确定问题的典型性。

• 操作系统命令获取ThreadDump
  ps -ef | grep java
  kiull -3 < pid>
  tip：一定要谨慎，一步不慎就可能让服务器进程被杀死。kill -9命令会杀死进程。
• JVM自带的工具获取线程堆栈
  jps 或 ps -ef | grep java (这行命令是为了获取PID)
  jstack[ -1 ] < pid> | tee -a jstack.log（获取ThreadDump）

Thread Dump信息

• 头部信息：时间，JVM信息
  
• 线程INFO信息块：
  
• Java thread statck trace详解：
  堆栈信息应该逆向解读：程序先执行的是第7行，然后是第六行，以此类推。
  
  也就是说对象先上锁，锁住对象0xb3885f60,然后释放对象锁，进入waiting状态。为啥会这样呢？

如上，线程的执行过程，先用synchronized获得这个对象的Monitor（对应于locked）。当执行到obj.wait(),线程即放弃了Monitor的所有权，进入”wait.set“队列。
在堆栈的第一行信息中，进一步标明了线程在代码级的状态
例：

Thread状态分析

线程的状态是一个很重要的东西，因此thread dump中会显示这些状态，通过对这些状态的分析，能够得出线程的运行状态，进而发现可能存在的问题。
线程的状态在Thread State这个枚举类型中定义：

• NEW:
  每一个线程，在堆内存中都有一个对应的Thread对象。Thread t = new Thread();当刚刚在堆内存中创建Thread对象，还没有调用t.start方法之前，线程就处在NEW状态，在这个状态上与普通的java对象没什么区别，就仅仅是一个堆内存的对象。
• RUNNABLE：
  该状态表示线程具备所有运行条件，在运行队列中准备操作系统的调度，或者正在运行。这个状态的线程比较正常，但如果线程长时间停留在这个状态就不正常了，这说明线程运行的时间很长(存在性能问题)，或者是线程一直不得执行的机会（存在线程饥饿问题）。
• BLOCKED:
  线程正在等待获取java对象的监视器（也叫内置锁），即线程正在等待进入由synchronized保护的方法或代码块中。sychronized用来保证原子性，任意时刻最多只能由一个线程进入临界区域，其他线程只能排队等待。
• WAITING:
  处在该线程阶段，正在等待某个事件的发生，只用特定的条件发生满足了，才能获得执行机会。而产生这个特定的事件，通常都是另一个线程，也就是说。如果不发生特定事件，那么处在该状态的线程一直等待，不能获取执行的机会。
  比如：
  A线程调用了obj对象的obj.wait()方法，如果没有线程调用obj.notify()或obj.notifyall（）方法，那么A线程就没有办法恢复运行；
  如果线程A调用LockSupport.park(),没有别的线程调用LockSupport.unpark(A),那么A没有办法回复运行。
  TIMED_WAITING:J.U.C中很多于线程相关类，都提供了限时版本和不限时版本的API。TIMED_WAITING意味着线程调用了限时版本的API,正在等待时间流逝。当等待时间过去后，线程一样恢复运行，如果线程进入了WAITING状态，一定要特定的事件发生才能恢复运行；而处在TIMED_WAITING的线程，如果特定的事件发生或者时间流逝完毕，都会恢复运行。
• TERMINATED:
  线程执行完毕，执行完run方法正常返回，或者抛出了运行时异常而结束，线程都会停留在这个状态。这个时候线程只剩下Thread对象，没什么用了。

关键状态分析

• Wait on condition:Thread is either sleeping or waiting to be notified by another thread
  该状态说明它正在等待另一个条件的发生来把自己唤醒，或者干脆它是调用了sleep(n)。
  此时线程状态大致为以下几种：
  
• Waiting for Monitor Entry和 in Object.wait()
  The thread is waiting to get the lock an object (some other thread may be holding the lock).This happens if two or more threads try to execute synchronized code.Note that the lock is always for an object and not for individual methods.
  在多线程的JAVA程序中，实现线程之间的同步，就要说说Monitor。Monitor是Java中用以实现线程之间的互斥与协作的主要手段，它可以看成是对象或者Class的锁。每一个对象都有，也仅有一个Monitor。下面这个图，描述了线程和Monitor之间关系，以及线程的状态转换图：
  
  如上图，每个Monitor在某个时刻，只能被一个线程拥有，该线程就是”Active Thread“，而其他线程都是”Waiting Thread“，分别在两个队列”Entry Set“和”Wait Set“里等待，在”Entry Set“中等待的线程状态是“Waiting for monitor entry”,而在“Wait Set”中等待的线程状态时“in Object.wait()”。

先说“Entry Set”里面的线程。我们称被synchronized保护起来的代码段为临界区。当一个线程申请进入临界区时，它就进入了“Entry Set 队列”。
这时有两种可能：

• 该monitor不被其他线程拥有，Entry Set里面也没有其他等待线程。本线程即成为相应类或者对象的Monitor的Owner,执行临界区代码。
• 该monitor被其他线程拥有，本线程在Entry Set队列中等待。

再说说“Wait Set”里面的线程。当线程获得了Monitor,进入了临界区之后，如果发现线程继续运行的条件没有满足，它调用对象（一般就是被synchronized的对象）的wait方法，放弃Monitor，进入“Wait Set”队列。只有当别的线程在该对象上调用notify()或者notifyAll()，“Wait Set”队列中的线程才有机会去竞争，但是只有一个线程获得对象的Monitor,恢复运行态。在“Wait Set”中线程，DUMP中表现为：in Object.wait()。如下：

案例分析

问题场景：

• CPU飙高，load高，响应很慢
  1.一个请求过程中多次dump;
  2.对比多次dump文件的runnable线程，如果执行的方法有比较大的变化，说明比较征程。如果在执行同一个方法，就有一些问题了。
• 查找占用CPU最多的线程
  1.使用命令：top -H -p pid(pid 为被测系统的进程号)，找到导致CPU高的线程ID，对应thread dump信息中线程的nid,只不过是一个十进制，一个是十六进制；
  2.在thread dump中，根据top命令查找的线程id，查找对应的线程堆栈信息；
• CPU使用率不高但是响应很慢
  进行dump，查看是否有很多thread struck在i/o，数据库等地方，定位瓶颈原因；
• 请求无法响应
  多次dump,对比是否所有的runnable线程都是一直在执行相同的方法，如果是的，恭喜你，锁住了！
• 死锁
  死锁经常表现为程序的停顿，或者不再响应用户的请求。从操作系统上观察，对应的进程的CPU占用率为0，很快会从top或prstat的输出中消失。
• 热锁
  热锁，往往也会是导致系统性能瓶颈的主要因素，其主要表现特征为：由于多个线程对临界区，或者锁的竞争，可能出现：
  （1）频繁的线程的上下文切换：从操作系统对线程的调度来看，当线程在等待资源而阻塞的时候，操作系统会将指切换出来，放到等待的队列，当线程获得资源之后，调度算法会将这个线程切换进去，放到执行队列中。
  （2）大量的系统调度：因为线程的上下文切换，以及热锁的竞争，或者临界区的频繁的进出，都可能导致大量的系统调用。
  （3）大部分CPU开销用在“系统态”：线程上下文切换，和系统调用，都会导致CPU在“系统态”运行，换而言之，虽然系统很忙碌，但是CPU用在“用户态”的比例较小，应用程序得不到充分的CPU资源。
  （4）随着CPU数目的增多，系统的性能反而下降。因为CPU数目多，同时运行的线程越多，可能就会造成更频繁的线程上下问切换和系统态的CPU开销，从而导致更糟糕的性能。

JVM重要线程

JVM运行过程中产生的一些比较重要的线程如下：