自动导出jmap、jstack日志，找到内存溢出的原因

某一天，我们的生产服务的进程突然挂掉了，心塞塞

现象是：CPU突然飙升到100%，但内存并没有异常 

上去翻日志原因是内存溢出（java.lang.OutOfMemoryError: GC overhead limit exceeded）导致的，后悔的是怕影响生产业务就直接重启了，当时没有及时导出jmap、jstack，所以具体因为啥原因导致的没有查出来 很悲催，然后赶快写了脚本，可以及时导出日志。

脚本的内容如下：

#!/bin/bash
echo -e "------------------------------------------------begin `date +%Y-%m-%d\ %H:%M:%S`---------------------------------------"
#source /home/cfs/.bash_profile   #如果需要重新加载环境变量 可以加上
date=`date +%Y%m%d%H%M`
applction_pid=`jps -l | grep "Bootstrap" | awk '{print $1}'` 
jstacklog_name="web_jstack.log"   #日志名称
jmaplog_name="web_jmap.log"
tar_name=web_jvmlog_$date.tar.gz

jstack $applction_pid > $jstacklog_name
jmap -dump:live,format=b,file=$jmaplog_name $applction_pid

tar -zcf /home/hermes/jvm/$tar_name $jstacklog_name $jmaplog_name
rm -f $jstacklog_name && rm -f $jmaplog_name

echo -e "------------------------------------------------end `date +%\Y-%m-%d\ %H:%M:%S`---------------------------------------"

#这里筛选的程序  可以根据jps -l  查看现在运行的进程jps -l

替换grep ....  后面的进程名称

 

最后给大家推荐一篇文章：

https://www.cnblogs.com/AmilyWilly/p/8670366.html

今天线上一个java进程cpu负载100%。按以下步骤查出原因。

    1.执行top -c命令，找到cpu最高的进程的id

    2.执行top -H -p pid，这个命令就能显示刚刚找到的进程的所有线程的资源消耗情况。找到CPU负载高的线程tid 8627, 把这个数字转换成16进制，21B3（10进制转16进制，用linux命令: printf %x 172）。

    3.执行jstack -l pid，拿到进程的线程dump文件。这个命令会打出这个进程的所有线程的运行堆栈。

    4.用记事本打开这个文件，搜索“21B3”，就是搜一下16进制显示的线程id。搜到后，下面的堆栈就是这个线程打出来的。排查问题从这里深入。

    今天最后排查出来的结果是“VM THREAD”把进程的资源耗尽。那只能说明是jvm在耗cpu。很容易想到是疯狂的GC，按关键字 “overhead” 搜一下系统日志， 发现 “java.lang.OutOfMemoryError: GC overhead limit exceeded”日志。问题明了了。jvm在疯狂的Full GC，而且有个大对象始终根节点路径可达，无法释放。dump了一下这个实例的内存，发现确实有大对象，占用了一个多G的堆内存。