线上一次JVM FullGC搞得整晚都没睡，彻底崩溃~

V-xin：ruyuanhadeng获得600+页原创精品文章汇总PDF

这篇文章给大家聊一次线上生产系统事故的解决经历，其背后代表的是线上生产系统的JVM FullGC可能引发的严重故障。

一、业务场景介绍

先简单说说线上生产系统的一个背景，因为仅仅是文章作为案例来讲，所以弱化大量的业务背景。

简单来说，这是一套分布式系统，系统A需要将一个非常核心以及关键的数据通过网络请求，传输给另外一个系统B。

所以这里其实就考虑到了一个问题，如果系统A刚刚将核心数据传递给了系统B，结果系统B莫名其妙宕机了，岂不是会导致数据丢失？

所以在这个分布式系统的架构设计中，采取了非常经典的一个Quorum算法。

这个算法简单来说，就是系统B必须要部署奇数个节点，比如说至少部署3台机器，或者是5台机器，7台机器，类似这样子。

然后系统A每次传输一个数据给系统，都必须要对系统B部署的全部机器都发送请求，将一份数据传输给系统B部署的所有机器。

要判定系统A对系统B的一次数据写是成功的，要求系统A必须在指定时间范围内对超过Quorum数量的系统B所在机器传输成功。

举个例子，假设系统B部署了3台机器，那么他的Quorum数量就是：3 / 2 + 1 = 2，也就是说系统B的Quorum数量就是：所有机器数量 / 2 + 1。

所以系统A要判定一个核心数据是否写成功，如果系统B一共部署了3台机器的话，那么系统A必须在指定时间内收到2台系统B所在机器返回的写成功的响应。

此时系统A才能认