故障是一定会发生的：IT业务连续性保障该如何建设？

什么是企业业务连续性

业务连续性（Business Continuity，BC）是组织对事故和业务中断的规划和响应，使业务可能在预先定义的级别上持续运行的组织策略和战术上的能力。

主要为长期停产和灾难事件提供解决方法和程序（如灾难发生关键业务转移到异地，各岗位安排合理人员，在恢复正常秩序之前改变业务运作模式，通过各种渠道处理与客户和合作伙伴及股东之间的关系等）

业务连续性管理是指企业通过一系列的策略、计划和措施来减轻这些风险，并确保在面对突发事件时能够快速、有效地恢复业务运营。这些措施可能包括制定灾难恢复计划、备份关键数据和设备、建立备用工作场所、培训员工应对突发事件等。

通过有效的业务连续性管理，企业可以最大限度地减少业务中断对其运营和声誉造成的影响，提高组织的韧性和可持续性。

IT运维使命之一：确保IT系统长期稳定运行

企业的IT系统是其正常运营的重要支撑。一旦IT系统出现故障，可能会给企业带来难以估量的损失。例如，可能导致生产线停止运作、销售陷入停顿、物流网络崩溃，甚至可能因资金被非法挪用而面临破产等严重后果。

但随着越来越多的新技术引入，业务发展越来越复杂，生产环境上运行的系统复杂度起来起高，影响业务连续性的因素也越来越多。

影响业务连续性的相关因素

这还只是列举了一部分常见的因素，可见稍有不慎，我们的生产系统就有可能产生故障。

如何提升业务连续性保障水平

我们要提升业务连续性的保障水平，可以围绕故障管理生命周期展开，运维可以针对下面几个点来进行相应的能力建设：

• 提升监控覆盖面

从系统基础监控、到应用监控、到业务监控

• 提升监控发现事件的及时性

监控一定是方便问题定位与排查的

• 提升架构或者容灾的可用性

有条件的支撑双活，容灾，单元化架构

• 提升应用架构非功能性设计能力

除了完成业务功能外，增加比如熔断、限流、服务下线等非功能性设计

• 快速感知业务影响

通过影响的人、业务、关联的周边系统，快速决策故障等级，迅速拉起故障处理小队

• 加快故障诊断

通常监控及业务表现，相关业务系统的开发、产品、运维人员迅速定位问题，解决问题。

• 加强应急协同

设立专门的故障处理协同机制，UIOC（Urgent Incident Operations Center）

• 加强应急处理的能力

针对不同的场景，有专门的工具，可帮助提升解决问题的效率。

故障是一定会发生的

作为一名IT从业人员，你一定要相信，故障是不可避免的，是一定会发生的。所以我们在设计一个产品和系统的时候，必须要假设故障是一定会发生的，要面向故障进行设计。

• 比如：

网络也有断的时候，如大型挖掘机的意外挖掘。

服务器同样可能停止响应，尤其是当它们运行超过五年后，故障的可能性显著增加。

数据中心可能面临停电，甚至在工业区域，电力限制也可能导致电力中断。

即便是AWS、AZURE、Google Cloud这样的大型云服务提供商，也可能遇到影响广泛的服务中断。

所依赖的外部接口有可能返回500错误，数据库系统同样可能崩溃。

因此，在架构设计和开发关键系统时，必须采取面向故障的编程方法以应对这些潜在问题。

IT系统稳定性贯穿于整个系统生命周期

从技术选型到架构设计，再到详细设计，以及从开发实现到集成测试、UAT测试和上线前的压力测试，每一步都需要精心策划。此外，部署环境的准备、监控系统的设置、上线前的检查，以及上线后的日常巡检和版本更新等环节，也都需要有严格的流程和管控措施。只有整个IT团队密切合作，才能确保业务系统在上线后能够稳定运行。这是一个需要团队协作才能完成的任务，每一个环节都不容忽视。

来源：https://blog.csdn.net/u011278722/article/details/138065094