令人头痛的java.lang.OutOfMemoryError：GC overhead limit exceeded

jmap+jvisualvm 分析系统中的 java.lang.OutOfMemoryError：GC overhead limit exceeded

2019-11-21 星期六、一大早一个钉钉的语音通知工单系统挂了。
马上洗漱完跑到公司，打开远程服务器看了一下报错信息!

java.lang.OutOfMemoryError：GC overhead limit exceeded

？？？内存溢出
首先重启一下服务器（心想这个可能是偶发性吧估计谁在做什么比较消耗资源的东西，想着重启这一下就能解决）

五分钟过后又报出了GC overhead limit exceeded，看了一下服务器内存确实不够，但是平时

接着百度一下GC overhead limit exceeded，有文章解释道：

这个是JDK6新添的错误类型。是发生在GC占用大量时间为释放很小空间的时候发生的，是一种保护机制。一般是因为堆太小，导致异常的原因：没有足够的内存。
Sun 官方对此的定义：超过98%的时间用来做GC并且回收了不到2%的堆内存时会抛出此异常。

解决方案

1. 查看代码中是否有死循环；
2. 增大堆内存
   JAVA_OPTS=-server -Xms512m -Xmx1024m -XX:MaxNewSize=1024m -XX:MaxPermSize=1024m ；
3. 清除linux 缓存
   echo 3 > /proc/sys/vm/drop_caches

上面的方案全试了一遍之后，问题依旧没解决
最后使用 jmap 生成dump 文件，用jvisualvm 分析之后成功定位问题。

一. jmap 成功dump文件

##pid 为项目进程id   /mnt/oom.phrof 为文件路径
jmap -dump:format=b,file=/mnt/oom.phrof  pid

如果上方提示jmap命令不存在使用java命令which java获取jdk的安装路径

which java
## 进入上面输出的jdk安装路径
cd /usr/local/java/jdk/jdk1.8/bin/
./jmap -dump:format=b,file=/mnt/oom.phrof pid

二. 下载dump文件到本地

## 首先压缩一下dump文件（文件太大压缩过后下载更快）
zip oom2.zip /mnt/oom.phrof
## 下载
sz /mnt/oom.phrof

三.使用jvisualvm 打开dump文件

解压下载下来的oom2.zip 得到oom.phrof 文件
双击打开本地jdk的bin目录下的jvisualvm.exe,点击菜单-文件->装入oom.phrof

对比发现线上的HashMap的示例数异常，找了最近提交的代码 发现了这个bug