考虑到周六客户要看系统,就周五的时候去现场布置了,很顺利不到一个小时搞定,当时还挺庆幸的。走之前告诉了对方机房值班人员一些注意事项,比如不能直接断电等。然后就直接回单位继续上班了。
周六上午10点去客户现场,等待客户的参观,结果去了之后,在播放端看不到数据,等了一小会儿,播放端还是没数据,就去机房看服务器了。结果发现centos启动失败,重新启动还是失败。简单看了下是8T的数据盘因为最近一次异常关机导致系统时需要强制自检硬盘,8T的数据自检需要4个多小时。。。。此时客户还在等着。
回想了下,应该是/etc/fstab 里面的/dev/sdb1 的default 后面的参数设置成1 1(默认异常自检)了,在自检开始和过程中按ctrl+c、ctrl+d等均无效。。。最后网上查了查也没什么好的方法,然后同事出了个注意,把sdb1下的做raid5的4块盘拔出来然后启动。。果然系统能正常启动了。进入系统后修改了下fstab文件,然后关机重新插入硬盘,重新做Raid,再重启把其他数据恢复,然后一切正常,只是此时客户已经走了。。。。。。。想想也悲剧。
1、这类故障第一次遇见,没有经验,这方面的知识也比较欠缺。如果有经验,就能迅速的排除这类故障。
2、虽然给对方值班人员说了不要直接断电,也写了纸质的操作说明,可对方还是直接断电导致了这次故障。主观的要求和客观的操作是两码事。
3、此次故障虽然之前有预防,要给对方有纸质的操作流程,但还是发生了故障,还是之前做的工作不细致,考虑的不周全。