前言
本次事件发生于flink on yarn模式。
问题
flink提交任务到yarn上,正常运行,并启动taskmanager。但是taskmanager刚启动就卡死,频繁timeout。
解决思路
查看日志
由于web端taskmanager直接卡死,导致无法查看日志,因此找到taskmanager对应的节点,去对应的节点上面查看日志。目录为:hadoop-2.7.1/logs/userlogs
结果日志输出一半就不再输出了,没有任何异常。看起来像是进程卡死了。
查看堆栈信息
接下来通过jstack -l <pid>查看堆栈信息。并通过ps -mp PID -o THREAD,tid,time命令查看占用cpu较高的线程,并通过堆栈信息发现,所有的占用均为gc线程。
查看gc情况
通过命令jstat -gc 32004 1000 1000查看gc情况,如下
通过上图可以看出来eden区4G大小但是使用率几乎为0,但是YGC,FGC的次数一秒高达数次。
通过jstat -gccause 28953 1000 1000命令查看gc的原因
发现gc的原因出在元数据区,元数据的使用率一直高达90%以上。
解决问题
通过配置-Dtaskmanager.memory.jvm-metaspace.size=256M 调整flink taskmanager的metaspace区的大小,成功正常启动。