【AIOps探索】基于CauseInfer方法的根因定位

 

背景

近些年来，在需要支持多平台的互联网应用中，越来越多的公司选择从单体系统迁移到微服务架构。微服务系统通常包含成百上千的应用，这些系统是高度动态和复杂的，一个服务可以有几个到几千个实例运行在不同的容器和服务器上，而可用性问题一直是大规模微服务系统面临的一个关键挑战。在这些系统中，服务质量（如性能、可靠性）的任何异常都有可能沿着服务调用链传播，由少量的根因节点影响到关联节点，并最终导致业务级别的可用性问题（如访问成功率下跌）。

针对运维中的难题，全球权威的IT研究与顾问咨询公司 Gartner于2016年提出了AIOps(Artificial Intelligence for IT Operations)概念，即智能运维。AIOps分析的运维数据主要有三种：指标、日志、调用链（如上图）。本文所探索的论文《CauseInfer:Automatic and Distributed Performance Diagnosis with Hierarchical Causality Graph in Large Distributed Systems》[1] 即以性能指标数据为依据，通过构建服务调用拓扑和指标因果拓扑，利用深度优先搜索（DFS）遍历搜索根因性能指标，最终输出根因指标的排序。

根因定位浅谈

根因定位是智能化运维中一项重要且难以实现的领域，看起来很庞大，很抽象，无从下手，也被称之为运维的“终极命题”。目前行业内外有已有多种根因定位方案投入使用，但因为系统之间差异性及根因定位的复杂性，目前仍然没有一套能在所有系统行之有效的方案。

因为针对不同的系统/业务，通常要针对性的使用方法，大多数人对要解决的问题都模糊不清，就想着有“尚方宝剑”一刀切的解决这个难题，这是不现实的。根因定位要具体情况具体分析，将复杂抽象的问题分解成具体明确的条件情况，下面列举常见的根因定位场景：