Metaspace GC 问题排查

背景描述

查看应用JVM监控发现发生了连续两次 Full GC，导致 GC 的原因是什么？
Full GC 监控：

metaspace利用率监控：

问题排查

环境信息

生产环境，JDK1.8
关键JVM参数：

-Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=512m -XX:MaxDirectMemorySize=1g -XX:SurvivorRatio=10 -XX:+UseConcMarkSweepGC -XX:CMSMaxAbortablePrecleanTime=5000

GC日志分析

从日志中可以看出，Full GC 是由于 metaspace 空间不足导致的。metaspace 空间主要保存的是类元信息和类常量数据等，类常量很少变化，一般是加载的类过多才会导致 GC。结合 metaspace 利用率监控可以得知，经过GC后会有约 40% 的数据会被清理掉，应该是有类被频繁加载、卸载导致 metaspace 存在大量类的垃圾数据，当发生 GC 时由于这些类早已经被卸载了，metasapce 里的类垃圾数据自然也就被释放了。

到这里大概确定了问题所在，接下来需要排查是哪些类被频繁的加载和卸载，这里使用开源的 Arthas 工具进行排查。

Arthas

使用简介

下载 arthas

sudo wget https://alibaba.github.io/arthas/arthas-boot.jar

进入arthas

java -jar arthas-boot.jar

查看加载最多的类

获取所有类信息

1.将类信息输出到 allclass.txt 文件：classloader -a > allclass.txt
2.查看 allclass.txt 文件路径：pwd

查看加载最多的package

1.进入 allclass.txt 文件路径
2.执行命令：

cat output.txt | sed ‘/^$/d’ | awk -F ‘.’ ‘{print $1}’ | sort | uniq -c | sort -k 1 -nr | head -20

sun 包是最多的，这里截图为发生GC后

查看package前两段

cat output.txt | grep sun | awk -F ‘.’ ‘{print $1 “.” $2}’ | sort | uniq -c | sort -k 1 -nr | head -10

可以看到这里 sun.reflect 占多数，其中主要为：