中型股份制银行的智能运维建设案例：用算法处理告警风暴

这是一个中型股份制银行2020年实施的智能运维项目。

朋友中很多从事IT运维工作，基本状态就是24小时待命。监控系统上得越多，各种告警信息越多，直到最后听到呼叫声也麻木了为止 …… 

 

项目的主要目标：解决某中型银行客户（以下简称“A行”：一家位于中国南部的股份制银行）日常运维中存在的告警风暴问题。A行主要运维痛点是告警风暴频发，系统日增告警量达5000多条。在这种情况下运维人员根本无法及时处理告警事件，系统问题更无法及时得到修复，势必会引发用户频繁投诉。A行迫切需要引入智能化的运维方案来解决横亘已久的问题，破除告警风暴难题，提高告警处理能力。

在实地了解到客户的现状和痛点后，软件咨询专家给出的方案是通过实施告警信息丰富、告警智能压缩、告警智能关联、精准推荐告警优先级等功能，帮助运维人员逐步实现少做事、做重要的事、更高效地做事等三级目标。
这些核心功能，最终要依赖擎创夏洛克的智能运维产品——告警辨析中心来实现。

这些功能的实现逻辑如下：
1、告警信息丰富：原始告警信息关联CMDB配置信息，做如下内容丰富；

2、告警智能压缩：利用智能算法将相同或者相似的告警进行合并压缩；
3、告警智能关联：利用智能算法将可能是同一种根因产生的告警关联在一起，方便用户迅速查找问题症结；
4、精准推荐告警优先级：智能算法推荐告警优先级，使告警级别标注更精准。

整个项目历时3个月，投产后压缩掉了82%的无效告警，并大大提高了运维人员的排障效率，客户投诉量也降低了50%。

这个项目也了却了客户心中的难题。A银行使用的监控平台建设于2009年，虽然采用的是某知名国际软件厂商的产品，但是产品的架构、功能和性能已经远远无法满足当前业务需要。客户3年前就表示希望更换监控平台，但由于涉及部门过多，新监控平台建设工作迟迟无法推进。

此次智能运维项目中发现客户的指标数据采样频率和告警频率都是5分钟一次，已经无法反应系统的真实状态，且会遗漏大量有价值的数据和信息。经过反复沟通，终于推动客户下定决心升级监控平台，目前该项目已经进入UAT测试阶段。