常见问题分析
相比于传统存储较为成熟的应急预案、流程,针对云平台存储的应急演练进行测试和评估,则可发现大多存在如下问题:
1. 缺乏针对云平台存储的演练标准体系
基于云平台存储的业务平台,采用分布式计算机存储系统,天然形成了数据冗余存储、具有自动恢复机制,提高了存储数据抵抗外界诸如硬件故障、单台存储设备故障等不可抗风险。因此,在构建基于云架构的演练标准体系方面,缺乏了应有的关注。
云平台存储的演练体系应至少应包括:
1)明确云平台存储突发事件应急各环节中的角色和责任,提高云平台存储各项响应和操作能力; 对存储的运维也从硬件层面转变为对应用和微服务的支撑。
2)构建云平台存储应急演练手段技术体系,利用真实可模拟的微服务存储故障等突发事件应急环境,增强参演人员的心适应能力和调整能力。
3) 明确云平台存储在应急演练各环节关键的功能要素,包括SSD云盘的IOPS、吞吐量和访问时延。并据此从定性和量化两个方面构建科学的演练效果评估指标体系;
分布式云存储日益复杂,业内普遍缺乏以云原生视角去扩展演练领域的思路,传统架构中不存在的不确定因素。比如,机器高负载、网络异常、磁盘 IO、节点调度等故障,以及云平台自身的资源、应用服务、容器以及基础设施各环节导致的问题。
以云原生视角拓宽演练领域至少应该包括如下颗粒度。
其中,以下几项尤为重要:
1)评估IaaS层、PaaS层是否健壮
模拟云存储不可用,验证系统的容错能力、测试调度任务是否自动迁移到可用节点。
2)衡量容器及微服务的容错能力
查看发生故障的节点或实例是否被自动隔离、下线,流量调度是否正确,预案是否有效,同时观察系统整体的QPS或RT是否受影响。
3)验证容器编排配置是否合理
模拟杀服务Pod、杀节点、增大Pod资源负载,观察系统服务可用性,验证副本配置、资源限制配置以及Pod下部署的容器是否合理。
4)验证监控告警的时效性
对系统注入故障,验证监控指标是否准确,监控维度是否完善,告警阈值是否合理,告警是否快速,告警接收人是否正确,通知渠道是否可用等,提升监控告警的准确和时效性。
云存储应急预案场景
针对不同类型的云存储类型及故障场景建立不同的应急预案
场景一:块存储集群中,单台设备故障无法正常使用
使用技术:备份一体机 DP 进行恢复
RPO =1Day (可恢复 1 天前的备份副本);RTO = 2-3Hour(200G 数据需恢复需10Min)。
业务恢复步骤:选择存储卷及备份副本,完成云存储及业务恢复。
场景二:文件存储中的部分非结构化数据被误删除或丢失
使用技术:备份一体机 DP 进行恢复
RPO =1Day (可恢复 1 天前的文件);RTO = 30Min-2Hour(200G 数据需恢复需10Min)。
业务恢复步骤:选择虚拟机及备份副本,确认丢失文件的路径,选择恢复的目标,完成丢失文件的恢复。
场景三:对象存储损坏或丢失
使用技术:备份一体机 DP 进行恢复
RPO =1Day (可恢复 1 天前的文件);RTO = 30Min-2Hour(200G 数据需恢复需10Min)。
业务恢复步骤:选择数据库副本文件进行数据恢复,恢复后确保数据完整性及数据库可用性。
场景四:核心业务系统发生宕机无法快速恢复
使用技术:通过 RP 技术进行恢复
RPO = 30sec ;RTO = 5min。
业务恢复步骤:选择相应的时间点,进行容灾切换,将备机直接开启,并确认业务是否可以使用