记录一次机房事故...（一次删库）

背景：某机房… 所有产品100%国产化。应用服务器和数据库服务器分离，7台应用服务器，8台数据库服务器，三台安全服务器。机房断电。
问题现象：部分应用挂掉。
解决过程:
1.检查应用服务器发现所有应用服务器无法ping通
解决方法：从新bond网口。
（应用服务器ping通后仍然起不来服务，发现数据库服务器也ping不通）
2.检查数据库服务器同样ping不通
解决方法：从新调整数据库服务器所在的交换机后从新bond。
（数据库从服务器ping通后服务仍然起不来，发现数据库软件运行不了了）
3.数据库无法运行
解决办法：发现是磁盘阵列掉电。重新给电。
（这个过程比较诡异，暂时没有什么头绪。数据库运行不了的原因是磁盘阵列的磁盘没有挂载到该数据库服务器中。一共8台数据库服务器在磁盘阵列掉电的情况下居然有6台挂载上了…至今没有很好的解释。但磁盘阵列从新给电后剩下两台就挂载上了。）
4.一台服务器开始频繁自动重启（数据库服务器）。
解决办法：更换服务器主板。
（更换了三次数据库服务器主板终于不再在动重启了。但是第二天发现关机了…开机之后发现系统崩了）
5.开机之后发现 系统 崩了。
解决方法：重做系统
（刚开始发现做不了，然后就开始换零件。一共换了4次主板，3次硬盘，最后终于做成功了。但是数据库没了…当时一点也不慌因为数据都在磁盘阵列里）
6.恢复数据库
解决方法：重装数据库
（高潮来了…恢复数据需要两个存储在服务器本地的文件，因为做系统都没了…万念俱灰。）
现在正在手动恢复，幸好项目还没上线。
题外话:真心不推荐国产化的朋友们使用同方