![ce7647222cc8dd646fd5c3541f893f33.png](https://i-blog.csdnimg.cn/blog_migrate/0084ea677af45d36884689d6d4d0ba51.jpeg)
前言
在一次数据库故障后,我们发现业务库会根据业务的等级会划分多个 MySQL 实例,许多业务库会同时属于一个 MySQL 实例,当一个库引发问题后整个实例的状态是不可控的。从而导致这个实例上的所有业务不稳定甚至造成中断。
故障反思
微服务架构
![7a41cf532b8d6c138344a5419e0ba959.png](https://i-blog.csdnimg.cn/blog_migrate/2db01fc3242e9899fed937f6c82b6a9e.jpeg)
微服务架构在公司已经采用并坚持了近十年,我们也从传统的 VM 部署架构转身至当下的“容器+K8S”,无论是软件架构还是部署架构,我们都朝着高可用,可伸缩,快速迭代的目标演进。
通过上述技术,我们将应用的可用性提升到了一个新的高度,不幸的是我们还是遇见了故障。
木桶效应
![3b432fe868d8816d557e1c9f1ee256f5.png](https://i-blog.csdnimg.cn/blog_migrate/c981a305f8f127290815c43f36dfb929.jpeg)
木桶效应是讲一只水桶能装多少水取决于它最短的那块木板。一只木桶想盛满水,必须每块木板都一样平齐且无破损,如果这只桶的木板中有一块不齐或者某块木板下面有破洞,这只桶就无法盛满水。
墨菲定律
墨菲定律不是一种心理学效应,是一种数学推理。
如果有两种或两种以上的方式去做某件事情,而其中一种选择方式将导致灾难,则必定有人会做出这种选择。根本内容是:如果事情有变坏的可能,不管这种可能性有多小,它总会发生。
总结
任何事情都有发生的概率,当短板缺陷暴露后会造成毁灭性打击。
找到短板
可以看到,我们这次故障是因为一个业务库发生了问题,从而影响了这个业务库所在数据库实例上的所有业务库。
为什么不是那个业务库的具体问题呢&#