三个月内一共发生两次生产环境事故，一个是接口超时导致服务雪崩，一个是锁表导致核心功能停滞一小时。

前言

  年前放假的几个月内，公司项目发生了两次事故，虽然与我无关，但事故发生后整个团队都受到影响，主管需要给客户写事故报告，客户甚至打电话给公司领导严肃批评，我想经历过这种事的朋友不在少数，但很多刚入行的朋友可能不太清楚其中利害，这里我分享出来希望对大家有所帮助。

事故经过

  三个月内一共发生两次生产环境事故，一个是接口超时导致服务雪崩，一个是锁表导致核心功能停滞一小时。

1、接口超时事故

1）、现象

  2021年12月某周一上午，负责管理网络的同事(俗称网管)一大早巡检过程中发现有一个服务挂掉了，他当时没在意，直接重启就好了，但到了10点左右，忽然三四个服务：挂号服务、门诊服务、检查报告服务等一起挂掉了，而且重启十几分钟后又会挂掉，瞬间公司就炸锅了，网管、开发人员、技术主管集体冒汗，在紧急处理过程中，还不断有院方电话打给主管、总经理直到大老板，领导就站在我们背后着急的等待我们处理，我想很多人应该有画面了。

2）、原因

  大概到中午都没解决，因为在没有日志平台的情况下，定位问题是一件不容易的事情，后来在中午休息时间技术主管和我们终于发现了门诊服务中调用某软his接口出现超时，而周一上午的流量又很大，平常偶尔超时也没问题没人在意，这次一个小小的接口超时竟然直接把服务全部堵塞，调用该接口的挂号和门诊服务全部挂掉，而和门诊服务有一点耦合的检查报告服务也在疯狂的超时等待又超时又等待中挂掉了。
  最终࿰