一次应用多次fgc原因的排查及解决

应用多次fgc性能排查（一次抢购引起的性能问题）

大家好我是魔性的茶叶，今天分享一个项目jvm多次fgc的整个排查流程

上班后不久运维突然通知我们组，有一个应用在短时间内多次fgc，即将处于挂掉的状态。

首先我登录skywalking，观察应用整体状况

首先先交代下背景，该项目属于一个整合消息的项目，可以称之为消息中心，负责我们应用中的所有的推送，短信及公众号推送，消息都是通过业务方面投递到kakfa消费的方式，所以feign或者http调用的外部调用几乎没有

首先通过cpm(call per minute/每分钟服务被调用数)观察服务整体情况

我们可以看到在8.到8.07分这段时间有一个波峰，询问产品得知是有医院开启了抢购药品的业务（某些专科医院比如说皮肤病医院，会在一些特定时段，每天开启限制数量的药品抢购，这个抢购属于比较火爆的业务），所以这个流量峰值是正常的。流量一大，消息队列中的消息数量立刻就上来了：

那么我第一个想法，有没有可能是kafka消息堆积呢？应用的处理能力跟不上，导致消息大量堆积，带着这个问题，我去看一下skywalking监控的消费速度，打开Endpoint监控，观察slow endpoints:

可以看到最慢的kafka消费速率在234ms，对于一个需要调用第三方外部接口完成业务的消费来说，这个速度不可以说慢，甚至还可以说有点小快。没关系，只要是性能问题，那么总是有迹