[TS2]MST-GAT: A Multimodal Spatial-Temporal Graph Attention Network for TS Anomaly Detection

本文发表于2023年Information Fusion期刊，总体框架图如下：

---

摘要：

多模态时间序列异常检测对于维持工作设备的安全性和稳定性非常重要，他的数据经常由来自各种模态的多元时间序列构成。尽管最近的深度学习方法在异常检测已展示出了巨大的潜能，但他们没有显式地捕获不同模态间单元时序的时空关系，导致更多的假阴性和假阳性。本文中，提出一个多模态时空图注意力网络MST-GAT来解决此问题。MST-GAT先使用一个多模态图注意力网络M-GAT和一个时域卷积网络以捕获多模态时序的时空关系。具体地，M-GAT使用了一个多头注意力模块和两个相关注意力模型(即，intra- and inter-modal attention，模块内和模块间注意力)显式地建模模态关系。进一步，MST-GAT同时优化了重建和预测模块。在4个多模态benchmarks上的结果展示出MST-GAT比其他SOTA算法更好。相关分析也证明MST-GAT通过定位最异常的单变量时序，增强了检测的异常的可解释性。

1. Introduction

       介绍多模态时序异常检测任务：异常检测已经在其他领域(图像，时间序列)中获得了很多关注，其旨在找到与其他观测显著偏离的实例。本文关注于多元时序(MTS)异常检测，其是异常检测的一个子任务。MTS异常检测常用于检测工作设备和信息技术系统中传感器的不同模态(温度、速度和功率)，每个传感器的数据被视为单元时间序列。多模态时序数据可以方便地检测复杂的异常，这在独立检测每个模态时并不明显。进一步，在系统被部分/完全打乱之前，及时发现异常可以帮助用于排除故障。

        说明多模态时序异常检测任务的难点（多元时序相互关联+包含复杂空间依赖性）：通常，有经验的工程师会手动为每个被监视的时间序列创建静态阈值来执行异常检测。然而，随着近些年数据规模呈指数型增长，这种手动的方式将会是labor-intensive的。进一步，决定每个传感器得最优阈值是非常有挑战性的，特别是这个系统中使用了多模态传感器。许多异常检测方法就被提出解决以上的问题，他们结合所有单元时序的异常检测结果以检测异常。但是，多模态时序的系统经常涉及大量相互连接的单变量时序，这些传感器数据通常以复杂的非线性方法进行关联，从而不断产生多模态时间序列数据。因此，一个单一的单元时序无法反映系统的整体状态，简单地将多个单元序列的检测结果结合往往表现不佳。由于复杂空间依赖性(拓扑结构和模态关联)，MTS异常检测是非常有挑战性的。此外，多模态时序不仅包含了来自相同模态时序的关系intra-modal correlations，还有不同模态间时序的关系inter-modal correlations。

        此前方法无法捕获多模态关系：之前对应MTS异常检测的方法将时间依赖进行考虑，包括SVM、贝叶斯方法、ARIMA、RNN等。这些方法捕获时间维度的动态变化但忽略了不同时序的空间依赖。为了弥补这一缺陷，一些研究者引用CNN更好的建模空间关系。然而，CNN通常被用于有规律的数据如图像、视频和音频，由于多模态时序的复杂拓扑关系会导致图数据中CNN的效果差。GNN对于构建图数据的复杂拓扑关系更有效，他能用于异常检测并实现不错的结果。具体地，Hang使用GNN和GRU学习时序的时空关系。尽管先前的方法已经取得了不错的进展，但他们不能显式地捕获多模态关系。

        以往基于重建的方法提供异常解释但在一些场景表现不好：另一个挑战是为异常检测结果提供解释。 为了向用户提供更有价值的信息，MST-GAT 通过定位最有可能导致该异常的单变量时间序列来解释每个异常。 基于重建的方法的重建概率通常用于解释检测到的异常。 例如，OmniAnomaly利用变分自动编码器 (VAE)为每个时间序列生成重建概率，用于解释检测到的异常。 尽管这些方法可以捕获整个时间序列的随机性，但研究表明它们在周期性场景上表现不佳，而基于预测的方法可以克服这一缺陷。

        本文，提出了多模态时空图注意力网络(multimodal spatial-temporal graph attention network)，名为MST-GAT，应用图注意力网络GATs去显式地捕获多模态时序的模态依赖性。进一步，设计了多模态图注意力网络M-GAT，M-GAT由一个多头注意力模块和2个相关注意力模块构成(模态内注意力和模态间注意力)以捕获多模态时序之间的空间依赖关系。在多元时序中显式建模不同的关系有助于获得输入数据更好的特征表达。然后，引入了一个时域卷积网络，通过对time slices进行标准的卷积操作来捕获每个时序中的时域依赖关系。接下来，联合优化了一个重建模块和预测模块以集成他们的优势。重建模块负责重建输入数据，预测模块旨在预测下一个timestamp的特征。进一步，重建概率和预测误差被用于解释检测到的异常。

        本文贡献：

1. 提出MST-GAT，一个新的基于图注意力网络的MTS异常检测方法。开创性地探索了在多模态时间序列数据中显式地建模时空依赖关系以进行异常检测。
2. 联合优化基于VAE的重建模块和基于MLP的预测模块以继承他们的优势。MST-GAT实现了最高的F1，AUC。
3. 基于重建和预测结果，设计了一种高效的MTS异常检测的解释方法。MTS-GAT有良好的可解释性，能够获得与人类直觉相一致的结果。

2. Related Works

2.1 时序异常检测

2.2 图神经网络

2.3 多模态机器学习

3. Methodology

3.1 问题定义

无监督任务

3.2 MST-GAT总览

如下图所示，MST-GAT由4大部分组成：

3.3 Graph Structure Learning

本质上：将每个单元时序看作图中的一个节点，计算步骤如下：

1. 计算每个节点的时序嵌入v_i，嵌入维度是d
2. 计算互相两对节点嵌入的余弦相似度e_ij
3. 选择e_ij中前K个最大的值，认为这两对节点间存在边，即Aij=1,反之亦然。

具体的公式表达如下图：

3.4 M-GAT in Spatial Dimension

3.5 Convolution in Temporal Dimension

3.6 Joint Optimization and Anomaly Score

4. Experiments

数据集：

来自航天器的：Mars Science Laboratory rover (MSL)，Soil Moisture Active Passive satellite (SMAP)，异常由NASA的专家标注。

来自水处理试验台：Secure Water Treatment (SWaT)

来自减量配水试验台：Water Distribution (WADI)

数据样例如下：

对比算法：

PCA, AE, DAGMM, LSTM-VAE，MAD-GAN, OmniAnomaly, USAD, and GDN

结果比较：