如何从SLB故障中快速恢复

背景

3月14日17:32-19:10时段，阿里云杭州区可用区E的大量slb出现服务不可用的问题，疑似健康检查系统出现故障，所有后端节点不论是否监控都一律都被标记为"异常"，导致TCP SLB的服务connection failed, HTTP SLB出现502错误。

小博无线线上业务系统完全基于阿里云搭建，在杭州区E可用区也部署了多个SLB作为流量接入点，在阿里云出现故障超过90分钟的情况，小博无线技术团队却只用了不到20分钟就完全恢复了业务接入，我们是如何做到的？

过程

17:38 运维团队收到某关键服务不可用的告警。登入阿里云控制台查看发现该业务对应的SLB的所有后端节点均为"异常"状态，但是我们自己内部的监控系统显示这些节点都是健康的，同时，还有多个SLB存在类似的情况并且都位于可用区E，于是怀疑该可用区的健康检查系统出现故障。

17:50 配置DNS，停止到出故障的SLB的IP解析。几分钟后观察到故障SLB上的流量已几乎全部漂移到正常的SLB上，业务全面恢复正常。

方法

完整的业务监控告警系统

对关键服务的接入点的服务质量每隔两分钟检查一次，如果连续3次不可用，推送告警到开发运维人员的手机上。这样，17:32出现故障，6分钟后，开发运维团队在17:38就收到了告警，能快速响应故障。

DNS负载均衡

为关键服务配置两个位于不同可用区的SLB作为流量接入点，并对它关联的域名做DNS负载均衡。这样，即便一个可用区的SLB出现故障，停止到故障SLB的IP解析就可快速恢复。