23日维护--悲剧与教训

 

        23日停站维护，DBA原计划仅是打打补丁，重启一下机器，以为这次维护仅是打打酱油，没什么特别的事情。不过事事难料，最不愿意看到的事情发生了，一个大的存储发生了意外，致使数据库无法使用。

       后续查看日志，重启服务器并没有导致存储出现故障，后续为什么出现故障，厂商也没给出明确答复，但是有一个道理很明确，事情不会无缘无故的发生。

       另外一个问题，一个服务器重启后，数据库出现无法找到物理文件的情况，致使数据库无法打开，由于没有列此项检测，结果，可能要拖到下次停站维护才可能处理这个问题。

     教训如下：

    1.某个环节有异动，就要检测那个点相关联的所有可能出现异常的点。

    2.关于数据库无法找到文件的问题，查看了系统日志，发现大量的日志错误，虽然无法判定这些错误和无法找到文件有直接的关系，但是，如果这些旧的报错如果之前就能发现并且解决掉，也许问题出现的概率就可能少一些。

      之前一直认为运维会有人定期收集服务器的错误日志，看来重要的事情完全依赖其它部门是不大靠谱的，自己还是需要有一些监控测试。

    3.工作流程要有，并却要明确。这儿的明确，不只是流程在文档上清晰，而且要和执行人明确执行的方式，否则，当你看到执行的方式完全和想象的不同，并且出现一些问题，那就有些悲剧了

    4.如果数据库达到无法备份，那就想办法把数据放多份。