方法论与技术栈双管齐下的运维可用性能力建设（五）

四、运维可用性能力建设（管理手段）

前面一节提到了基于技术手段的可用性能力建设，本节从演练与应急两个管理层面进行梳理。

1应急演练

应急演练是检验、评估、提高运维组织可用性管理的一个重要手段，通过模拟故障的发生，发现软硬件运行环境、系统架构、系统性能、应急预案、协作沟通、人员技能等存在的不足，并持续改进应急体系。

由于缺少持续改进的应急演练的思路，实际的演练工作的开展通常变成一个为演练而演练的过程，比如演练方案长年不变、演练的问题反复出现、只重视主备切换而忽视其它的可用性演练等等。

为了提高演练的成效，建议要将应急演练作为一个专项工作，有专人不断调整演练的目标，分步不断完善，让演练真正发挥其重要的作用。

针对上面的演练目标，可以将应急演练可以分为模拟演练和实战演练，以下简单介绍。

1）模拟演练

模拟演练是指在非业务时段或非生产环境进行的演练工作，这类演练又分为生产环境例行的可用性演练，为了某个项目而在测试环境进行演练，或为了检验应急协作沟通而开展的桌面演练。

（1）例行可用性演练

例行关机维护

系统软件在运行一段时间后会产生一些临时文件，或一些内存碎片无法释放等问题，所以运维组织通常会制定一些例行关机重启维护的工作。结合这类维护操作的演练可以发现系统是否在运行期间进行了一些配置修改在重启后引起了应用故障，系统性能的变化等问题；也可以演练当操作系统或服务器异常不可用时，应用应急恢复的时效能力。

关于这类演练可以做到计划性，可以考虑在年初制定全年的演练计划，针对不同的操作硬件、操作系统、业务系统分类制定不同频率的关机维护计划，如在实施前己临时实施关机维护则进行调整，在具体的实施当天通常排出一个例行关机的窗口，在非业务时断进行,这个窗口集中安排多个团队的关机维护工作，这样有助于提高工作效率。

高可用主备切换

虽然当前大部份系统都强调分布式部署的方式，但在实际的生产环境中还是有很多系统是主备架构，或主应用是分布式但局部是假负载的情况，所以强调主备切换在当前还很有意义。

主备切换中类似于数据库，或单服务部署的应用系统（一个OS中只部署一个应用服务），因为架构比较简单，可以参考上面例行关机维护的计划方式，甚至建议和上面例行关机放在同一个窗口执行。除了上面相对标准的模块，现实中还存在不少应用虽是分布式部署，但局部有些配置需要在故障期间进行修改，或一个操作系统部署了多个服务，这种情况则需要先进行摸底梳理。针对这种情况，如组织内有一些标准化的规范，比如必须热备、一个操作系统上必须只部署一个服务等，则需要将这类梳理出的架构进行整改，在整改前纳入应急演练。

（2）准生产环境演练

这类演练工作通常是跟进项目走，比如某个重要变更需要上线，或为了在测试环境模拟验证生产环境的真实的性能，运维会与开发、测试团队进行联合的演练工作。准生产环境可以考虑选择备机、灾备、测试，或一些企业会有专门的准生产环境，比如券商的周末通关测试会选择一部份数据在备机开展。

（3）桌面演练

桌面演练指参加演练的人员根据应急操作手册、应急协调流程等文档，借助多媒体会议等手段，对事先假定的演练情景进行交互式讨论、推演应急决策、现场处理的过程，从而发现应急预案、沟通协调等方面存在的问题。关于桌面演练，既可以考虑提前预知的方式开展演练，也可以考虑临时通知演练参与人介入演练。前者适合针对方案、沟通流程的完善，后者适合验证参与人是否理解并掌握应急过程的实施。

宝企通IT服务作为智能化工单系统龙头，拥有多年优化SLA经验，能够有效提高员工对IT的服务满意度。是一款支持SAAS、本地化部署、源码交付的运维工单系统(SAAS免费试用，企业微信--工作台--添加应用，搜索“IT服务”，排名第一的就是)。目前是全网众多企业选择的工单类产品，支持手机验证码或账号验证，员工自助修改域账号密码，具备智能化派单模式工程师响应快减少员工等待时间。自定义知识库可提升工程师专业技能水平，帮助工程师迅速判断员工问题，极大提升员工报单体验。系统还能够大幅提升职能部门可以服务的用户数，有效降低专业人力成本开支，提高业务执行效率，展现工作成果。产品服务好能为用户免费开发个性化需求，连续多年被魔力象0评为leaders位置，市场占有率爆发式增长