故障自愈机器人，保你安心好睡眠

作者简介

运小辰    百度高级研发工程师

负责百度运维智能故障自愈方案相关设计研发工作，致力于降低单机房故障自愈风险、提高故障自愈效率，为业务可用性保驾护航。

干货概览

在大型互联网公司中，单机房故障因为其故障时间长、影响范围大，一直是互联网公司运维人员的心头之痛。在传统的运维方式中，由于故障感知判断、流量调度决策的复杂性，通常需要人工止损，但人工处理的时效性会影响服务的恢复速度，同时人的不可靠性也可能导致问题扩大。

为了解决这类问题，我们针对百度内外部网络环境建设了基于智能流量调度的单机房故障自愈能力。结合外网运营商链路监测、内网链路质量监测与业务指标监控构建了全方位故障发现能力，基于百度统一前端(BFE)与百度名字服务(BNS)实现了智能流量调度与自动止损能力。同时，基于实时容量与实时流量调度自动止损策略与管控风险，实现了任意单机房故障时业务均可快速自愈的效果。当前此解决方案已覆盖搜索、广告、信息流、贴吧、地图等众多核心产品的单机房故障自愈场景。