运维故障管理的那些事

本文不讲具体规范，只粗粗说一下故障管理的那些事

首先我们需要明白一个道理，运维中涉及的设备或系统一定会出现故障的，只是时间的问题。
事情有轻重缓急，故障也一样，第一步也是最重要的先对故障进行分级，根据故障的影响范围或系统的重要性可将故障分为一般故障，重要故障，严重故障；每个公司根据自己业务后
系统的不同进行分级，找到符合自己公司的处理办法
故障处理的第一步就是故障发现和提报，这一步很关键，因为如果故障没有及时发现可能会照成更大的影响，引起更大的故障。当然如果是一个误报，但是运维工程师没有很好的识别就处理，可能会照成人为二次时间；这一点运维工程师需要有能力对故障进行识别，按照以上的定义对故障进行分级；
分级完成后下一步就是故障的处理，原则上运维工程师需在两个小时内完成运维故障的识别，分级（严重的需及时通知同步至领导及受影响的人员），和处理方案的确认。条件允许的情况下处理方案需要至少两个工程师确认，确认无误后，一般故障直接处理。重要或严重故障方案由领导同意后一人监督一人操作的情况下进行；
如果运维工程师不能对故障进行分级或方案判断，应及时将相关信息同步至主管和整个运维团队，尤其是影响比较大的重要或严重故障，需要及时响应，但是不能擅自操作，同步信息，随时待命。
对于重大故障的处理需要充分利用团队协作，各司其职。避免信息的不同步照成的二次故障，一般重要故障的处理负责人，负责故障信息的同步（必要时需在信息发布平台及时同步故障进展），人员组织。故障处理人，按照负责人安排对故障进行处理。监督记录人，监督和记录故障处理的过程；
以上说的了故障处理的过程，最后一点说一下事后总结，我们要充分利用在失败中总结出的东西，形成公司只有的知识库。事后总结的内容可包括：故障时间，故障现象，故障影响，故障原因，处理人，故障处理步骤（详细记录故障处理过程中关键时间点和关键人的一些操作），事后总结（改善建立）；
有了完善的记录，我们才可以去总结一些东西，对从根本上去避免或减少一些故障的发生提供了依据，有了数据你明白有些问题不可怕，一切会好的。
愿你的运维人生路越走越好！