IT系统架构是一个聚沙成塔的过程,随着业务规模的不断扩大升级,IT架构的复杂程度随之提升。在庞杂的IT架构下,应用系统紧密相连,一个指标变化,就可能引起一场告警风暴。
如何行之有效地抑制告警风暴,高效处理告警问题,是运维必须面对的课题。
避之不及的告警风暴
冰冻三尺非一日之寒。
PUA运维的从来不需要领导,告警风暴就能轻松拿捏住。
如何抑制告警风暴?
如何从海量告警信息中快速归因?
如何快速定位告警问题?
如何沉淀告警处置经验?
如何快速恢复业务运行?
解决这些问题是一个优秀运维工程师的自我修养。
不得不说,运维工程师还是有点学习本能和天赋在身上的,即使是远离课堂,很少考试的职场人,也逃不过“学习基因”变得显性。接下来本着分析问题--解决问题的思路,和运维打工人一起探讨告警风暴的解题思路。
为什会产生告警风暴 ?
1、系统强关联
当用户访问应用系统,彼时系统将调用链路上多个IT单元,其中一个环节出现问题,就会导致业务故障。多个监控系统可能引发其他多个相关的告警,重复告警高达90%以上。
2、指标难设定
不同类型的指标,往往适合不同类型的模型和参数,无法单独设置模型和参数,分类效果不佳。阈值过高,容易漏报故障;阈值过低,容易产生大量无效告警,影响运维工作效率。除此之外,周期设置同样影响告警的有效性。
3、告警响应不及时
一个告警问题处理往往需要内部流转,同一处理进度被推送多人处理,则大大降低了工单的处理效率,并且造成人力资源的浪费。缺乏高效流程机制,加上大量重复无效的信息,造成告警处理延时或遗漏,产生告警风暴。
除此之外,历史遗留问题、工程师不解决或者是无法解决的告警问题也会产生告警风暴。
如何从根本上解决风暴 ?
综上,要解决告警风暴问题,首先要解决告警准确性和处理效率两大问题。
对于这两个需求,LinkSLA智能运维管家AI机器学习算法在应用上展示优异的效果。
1、多指标检测
内嵌多种检测模型,适用于多种形态的指标检测,通过对指标的趋势性、周期性等特征的捕获和学习,抑制告警风暴产生,提供更加精准的告警。
2、时序性指标检测
时序性指标异常检测,采用业内领先的机器学习算法,根据指标数据的历史变化规律,无需用户手动设定阈值,检测指标异常自动发送告警。
动态阈值支持各种监控和运维场景。包括(业务时间序列数据,基础监控时间序列数据等)的时序性指标异常检测,预制时序性指标的AI告警规则,无需设定阈值或基线。避免由于固定阈值产生的误报漏报重复报问题,收获更加精准的告警。
3、快速响应告警
系统预设规则,客户可根据情况自定义。设置规则告警级别,提醒告警触发的后续处理环节。部分告警提供简单的解决方案,可以快速处理异常。
在用户体验方面,系统设置在线值守的MOC工程师,时刻关注系统状态。当用户遇到问题,MOC工程师会联系用户,第一时间让客户掌握具体情况,并提供相应的解决方案,高效地解决故障隐患。