对mysql的总结与反思_一次DB故障引起的反思和MySQL Operator选型

前言

在一次数据库故障后，我们发现业务库会根据业务的等级会划分多个 MySQL 实例，许多业务库会同时属于一个 MySQL 实例，当一个库引发问题后整个实例的状态是不可控的。从而导致这个实例上的所有业务不稳定甚至造成中断。

故障反思

微服务架构

微服务架构在公司已经采用并坚持了近十年，我们也从传统的 VM 部署架构转身至当下的“容器+K8S”，无论是软件架构还是部署架构，我们都朝着高可用，可伸缩，快速迭代的目标演进。

通过上述技术，我们将应用的可用性提升到了一个新的高度，不幸的是我们还是遇见了故障。

木桶效应

木桶效应是讲一只水桶能装多少水取决于它最短的那块木板。一只木桶想盛满水，必须每块木板都一样平齐且无破损，如果这只桶的木板中有一块不齐或者某块木板下面有破洞，这只桶就无法盛满水。

墨菲定律

墨菲定律不是一种心理学效应，是一种数学推理。

如果有两种或两种以上的方式去做某件事情，而其中一种选择方式将导致灾难，则必定有人会做出这种选择。根本内容是：如果事情有变坏的可能，不管这种可能性有多小，它总会发生。

总结

任何事情都有发生的概率，当短板缺陷暴露后会造成毁灭性打击。

找到短板

可以看到，我们这次故障是因为一个业务库发生了问题，从而影响了这个业务库所在数据库实例上的所有业务库。
为什么不是那个业务库的具体问题呢&#