ROOT CAUSE ANALYSIS OF ANOMALIES IN MULTI VARIATE TIME SERIES THROUGH GRANGER CAUSAL DISCOVERY
摘要
在多变量时间序列中识别异常的根本原因是一项挑战,因为序列之间存在复杂的依赖关系。在本文中,我们提出了一种综合方法,称为AERCA,它本质上将格兰杰因果发现与根本原因分析结合起来。通过将异常定义为对时间序列外生变量的干预,AERCA不仅学习时间序列之间的格兰杰因果关系,而且还明确建模了外生变量在正常条件下的分布。然后,AERCA通过突出显示显著偏离其正常状态的外生变量来识别异常的根本原因。在多个合成和真实世界数据集上的实验表明,AERCA可以准确捕捉时间序列之间的因果关系,并有效识别异常的根本原因。
本文提出了一种将格兰杰因果发现与根本原因分析相结合的综合方法。该方法将异常的根本原因视为对结构因果模型(SCM)中外生变量的干预。通过自动编码器框架AERCA,该框架通过显式建模外生变量的分布来识别时间序列中的格兰杰因果关系,从而实现根本原因定位。AERCA在正常数据上进行训练,部署后,如果外生变量的编码值显著偏离正常值,则相应的序列很可能是异常的根本原因。实验结果表明,AERCA在格兰杰因果发现和根本原因识别方面均达到了最先进的性能。
背景
Granger因果关系是分析多变量时间序列中因果关系的常用方法。其核心假设是,如果通过了解变量X的过去值能改进对变量Y未来值的预测,则X“Granger导致”Y。最初定义为线性关系,但最近提出了非线性Granger因果关系的概念。
平稳序列 X = ( x 1 , … , x t , … , x T ) \mathbf{X}=\left(\mathbf{x}_1, \ldots, \mathbf{x}_t, \ldots, \mathbf{x}_T\right) X=(x1,…,xt,…,xT),其中, x t ∈ R d \mathbf{x}_t \in \mathbb{R}^d xt∈Rd 是一个在特定时间t的d维向量(例如,来自d个传感器的d维时间序列数据)。假设真实的数据生成机制是以以下形式定义的:
x t ( j ) : = f ( j ) ( x ≤ t − 1 ( 1 ) , ⋯ , x ≤ t − 1 ( d ) ) + u t ( j ) , for 1 ≤ j ≤ d , ) ( 1 ) x_t^{(j)}:=f^{(j)}\left(\mathbf{x}_{\leq t-1}^{(1)}, \cdots, \mathbf{x}_{\leq t-1}^{(d)}\right)+u_t^{(j)}, \text { for } 1 \leq j \leq d,) \quad(1) xt(j):=f(j)(x≤t−1(1),⋯,x≤t−1(d))+ut(j), for 1≤j≤d,)(1)
其中 x ≤ t − 1 ( j ) = [ ⋯ , x t − 2 ( j ) , x t − 1 ( j ) ] \mathbf{x}_{\leq t-1}^{(j)}=\left[\cdots, x_{t-2}^{(j)}, x_{t-1}^{(j)}\right] x≤t−1(j)=[⋯,xt−2(j),xt−1(j)] 表示时间序列 j j j的过去,$ u_t^{(j)} \in \mathbf{u}^{(j)}$ 表示时间序列$ j$ 在时间步 $t 的外生变量 ; 的外生变量 ; 的外生变量; f^{(j)}(\cdot)$ 是时间序列 j j j 的一个函数,它捕捉过去值如何影响 x ( j ) \mathbf{x}^{(j)} x(j). 若 f ( j ) f^{(j)} f(j) 依赖于 x ≤ t − 1 ( i ) \mathbf{x}_{\leq t-1}^{(i)} x≤t−1(i), 即, ∃ x ≤ t − 1 ′ ( i ) ≠ x ≤ t − 1 ( i ) : f ( j ) ( x ≤ t − 1 ( 1 ) , ⋯ , x ≤ t − 1 ′ ( i ) , ⋯ , x ≤ t − 1 ( d ) ) \exists \mathbf{x}_{\leq t-1}^{\prime(i)} \neq \mathbf{x}_{\leq t-1}^{(i)}: f^{(j)}\left(\mathbf{x}_{\leq t-1}^{(1)}, \cdots, \mathbf{x}_{\leq t-1}^{\prime(i)}, \cdots, \mathbf{x}_{\leq t-1}^{(d)}\right) ∃x≤t−1′(i)=x≤t−1(i):f(j)(x≤t−1(1),⋯,x≤t−1′(i),⋯,x≤t−1(d)) ≠ f ( j ) ( x ≤ t − 1 ( 1 ) , ⋯ , x ≤ t − 1 ( i ) , ⋯ , x ≤ t − 1 ( d ) ) \neq f^{(j)}\left(\mathbf{x}_{\leq t-1}^{(1)}, \cdots, \mathbf{x}_{\leq t-1}^{(i)}, \cdots, \mathbf{x}_{\leq t-1}^{(d)}\right) =f(j)(x≤t−1(1),⋯,x≤t−1(i),⋯,x≤t−1(d)). 则有序列 i i i格兰杰因果 j j j
格兰杰因果关系的局限性。尽管格兰杰因果关系是一种检测时间因果依赖关系的宝贵方法,但理解其局限性非常重要。具体来说,格兰杰因果关系假设没有隐藏的混杂因素,即所有影响因果关系的相关变量都被观察到并包含在模型中,以及变量之间没有瞬时效应,即一个变量对另一个变量的影响不是立即发生的,而是有一定的时滞。违反这些假设可能会导致格兰杰因果关系分析得出错误的结论,突出显示。
方法
问题表述和框架
基于方程1中定义的多变量时间序列的结构方程,在本工作中,我们专注于由对一个或多个时间序列的外生干预引起的异常 x ~ t ( j ) \tilde{x}_t^{(j)} x~t(j),导致其外生变量 u ^ t ( j ) \hat{u}_t^{(j)} u^t(j)出现显著偏离的值,这可以定义为:
x ~ t ( j ) = f ( j ) ( x ≤ t − 1 ( 1 ) , ⋯ , x ≤ t − 1 ( d ) ) + u ^ t ( j ) = f ( j ) ( x ≤ t − 1 ( 1 ) , ⋯ , x ≤ t − 1 ( d ) ) + u t ( j ) + ϵ t ( j ) , for 1 ≤ j ≤ d , ( 2 ) \tilde{x}_t^{(j)}=f^{(j)}\left(\mathbf{x}_{\leq t-1}^{(1)}, \cdots, \mathbf{x}_{\leq t-1}^{(d)}\right)+\hat{u}_t^{(j)}=f^{(j)}\left(\mathbf{x}_{\leq t-1}^{(1)}, \cdots, \mathbf{x}_{\leq t-1}^{(d)}\right)+u_t^{(j)}+\epsilon_t^{(j)}, \text { for } 1 \leq j \leq d,\quad(2) x~t(j)=f(j)(x≤t−1(1),⋯,x≤t−1(d))+u^t(j)=f(j)(x≤t−1(1),⋯,x≤t−1(d))+ut(j)+ϵt(j), for 1≤j≤d,(2)
其中 u ^ t ( j ) = u t ( j ) + ϵ t ( j ) \hat{u}_t^{(j)}=u_t^{(j)}+\epsilon_t^{(j)} u^t(j)=ut(j)+ϵt(j)带有异常项 ϵ t ( j ) \epsilon_t^{(j)} ϵt