论文研读 | Anomaly-Transformer：基于关联差异的时间序列异常检测方法

本文是由清华大学2022年发表于ICLR会议的一篇文章，作者创新地提出了一种新的无监督时序异常检测模型——Anomaly Transformer，该模型在服务器监测、地空探索、水流观测等应用中均展现出了优秀的异常检测结果。

ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY

1.背景和问题

1.1. 研究背景

  时间序列中异常点的无监督检测是一个具有挑战性的问题。检测模型需要推导出一个可以区分正常与异常的准则。之前的方法主要是通过学习数据点表征或者多点之间的关联来解决该问题，然而这些方法都无法理解复杂的动态特性。近几年，Transformer模型在数据表征学习上取得了较好的效果，通过自注意力机制获得的每个时间点的权重，充分学习了时间点与整个序列的关系。然而，由于在实际任务中异常点是稀疏的，使得异常点与整个序列的关联很难建立，因此异常点的关联主要集中在邻近的时间点上。这种相邻点的偏差 (adjacent-concentration bias) 意味着基于关联的标准本质上可以区分正常点和异常点。本文通过关联差异（association discrepancy）来验证该猜想，提出了具有Anomaly-Attention mechanism 的 Anomaly Transformer 来计算关联差异，并设计了一个极小极大策略（minimax strategy）来放大关联差异。
  本文将Transformer引入无监督时序数据异常检测任务。首先提出全局的序列关联series-association，可直接通过Transformer模型来获取，即将 Transformer 应用于时间序列，每个时间点的时间关联可以从自注意力图中获得，它表示了序列中所有时间点的关联权重在时间维度上的分布。每个时间点的关联分布可以为时间上下文提供更丰富的信息来描述动态模式，例如时间序列的周期或趋势。
  进一步，本文引入了局部的先验关联prior-association。这是由于异常点的稀疏性导致异常点很难与整个序列建立较强的关联。 因此异常点的关联应集中在相邻的时间点上，相邻连续的时间点可能包含类似的异常模式。这种 adjacent-concentration inductive bias 被称为局部的先验关联prior-association。相比之下，占主导地位的正常时间点应该与整个序列的关联性更强。
  基于这一猜想，本文利用关联分布association distribution表示正常与异常的可区分性，并将其作为时序异常检测的标准，这是一个新的时序异常检测标准，通过对每个时间点的先验关联prior-association与序列关联series-association的距离进行量化，将结果称为