记一次jvm频繁gc但是内存使用率极低的问题

前言

本次事件发生于flink on yarn模式。

问题

flink提交任务到yarn上，正常运行，并启动taskmanager。但是taskmanager刚启动就卡死，频繁timeout。

解决思路

查看日志

由于web端taskmanager直接卡死，导致无法查看日志，因此找到taskmanager对应的节点，去对应的节点上面查看日志。目录为：hadoop-2.7.1/logs/userlogs

结果日志输出一半就不再输出了，没有任何异常。看起来像是进程卡死了。

查看堆栈信息

接下来通过jstack -l <pid>查看堆栈信息。并通过ps -mp PID -o THREAD,tid,time命令查看占用cpu较高的线程，并通过堆栈信息发现，所有的占用均为gc线程。

查看gc情况

通过命令jstat -gc 32004 1000 1000查看gc情况，如下

通过上图可以看出来eden区4G大小但是使用率几乎为0，但是YGC,FGC的次数一秒高达数次。

通过jstat -gccause 28953 1000 1000命令查看gc的原因

发现gc的原因出在元数据区，元数据的使用率一直高达90%以上。

解决问题

通过配置-Dtaskmanager.memory.jvm-metaspace.size=256M 调整flink taskmanager的metaspace区的大小，成功正常启动。