调用链根因定位论文《Ranking causal anomalies by modeling local propagations on networked systems》

Ni, Jingchao, et al. “Ranking causal anomalies by modeling local propagations on networked systems.”
2017 IEEE International Conference on Data Mining (ICDM). IEEE, 2017.

引言

场景是调用链问题。最近的方法已经表明，通过在不变网络中建模故障传播，可以有效地发现因果异常。
现有方法存在一个主要限制：它们通常假设整个网络中只有单一的全局故障传播。然而，在现实世界的大规模复杂系统中，多个故障传播在不同节点集群内同时增长并共同定义系统故障状态更为常见。
受这一重要观察的启发，我们提出了一个基于聚类排序的故障诊断（CRD）算法。

• 在第一阶段，执行概率聚类以揭示不变网络中的受损节点群集。
• 在第二阶段，设计低秩网络扩散模型以回溯不同受损群集中的因果异常。现实数据集的广泛实验结果证明了我们的方法的有效性

早期方法是检测系统组件上记录的单个时间序列，通过阈值判断异常（单维kpi异常检测），但实践中由于数据动态性，阈值很难确定。更有效的是根据历史时间序列数据构建系统正常模式来检测异常。

通过时间序列记录得到系统组件对之间的依赖关系，可以得到不变网络和破坏网络


图2（a）中的每个条目表示不变链接。 图2（b）中的每个条目表示断开的链接。
可以观察到红色，蓝色和绿色突出显示的三个聚类，这意味着它们严重受损。 应该注意，不同的集群之间几乎没有连接。 这意味着系统故障很难在不同的集群中传播

1. 系统故障在不同集群内本地传播，而不是通过整个网络进行全局遍历;
2. 系统中不同的簇可以有多个并行传播的故障传播。 因此，通过假设网络中的单个和全局传播，现有方法不能定位多个受损群集。 因此，不能准确地检测到许多真正的异常节点

问题定义

不变网络和破坏网络

其中[n，m]是模型的顺序，它确定影响当前输出的先前步数。 k是x和y之间的时间延迟因子。 参数ai和bj表示前一步骤影响当前输出的强度，这可以通过方程的最小二乘拟合来学习到训练数据。 在实际应用中，例如物理系统中的异常检测，0≤m，n，k≤2是一种流行的选择
令θ= {a1，…，an，b0，…，bm}为模型参数，设y（t，θ）表示预测，使用适应度分数F（θ）来评估学习模型θ与真实观测值的拟合程度。

F（θ）高于阈值可认为有不变关系，所有不变关系和节点组成了不变网络。不变性将通过归一化残差R(t)来跟踪

其中，R(t)超过阈值则认为依赖关系消失

问题描述

通过邻接矩阵来描述网络，矩阵Axy=1表示节点x和y之间存在不变的依赖关系; 矩阵Bxy=1表示节点x和y之间的不变链接被破坏。我们采用双重矩阵分解作为聚类不变网络的基本方法，因为它在稀疏网络上具有优越的性能

CRD算法

破坏集群聚类

聚类的直觉是，一组在正常状态下协同工作并在异常状态下同时断开的节点更可能在同一个集群中。
不变网络$A$中有k个集群，$U\in R^{x\ast x}$ 是集群成员矩阵， $U_{xi}=P(i|x)$ 表示节点x属于集群i的概率，每一行/列和为1，$A$双重随机逼近定义为：



联合函数

根因排序

$e_x$是一个n*1维向量推测节点$x$是根因的概率，传播之后会获得$r_x$表示它受根因的影响程度，$e$和$r$可以通过以下优化问题建模

实验有两个数据集，银行信息系统和电力场传感器
结果如下