ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY

最新推荐文章于 2024-03-20 10:18:34 发布
最新推荐文章于 2024-03-20 10:18:34 发布
阅读量1k 收藏 9
点赞数 12
分类专栏： 论文阅读 文章标签： transformer 深度学习 人工智能 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bradyM/article/details/136856622
版权

论文题目：
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY
发表会议：ICLR 2022
论文地址：https://openreview.net/pdf?id=LzQQ89U1qm_
论文代码：https://github.com/thuml/Anomaly-Transformer

目录

一、现状总结

1.1、利用经典的机器学习方法

  • 基于密度估计的方法，计算局部离群因子或则和局部连通性来检测异常
  • 这些经典方法没有考虑时间序列信息，无法获取时间模式，只考虑到单个时间点，难以推广到不可见的真实场景

1.2、通过自监督任务训练一个RNN网络

  • 通过预测来检测误差
  • 虽然一定程度上解决了时序信息的问题，但对于复杂的时间模式，RNN无法学习到一个长序列的信息
  • 这些经典方法没有考虑时间信息，难以推广到不可见的真实场景
  • 对于复杂的时间模式，逐点表示信息较少，并且可以由正常时间点主导，使得异常难以区分。此外，重建或预测误差是逐点计算的，无法提供对时间背景的全面描述

1.3、基于关联建模的方法

  • 对于多变量时间序列，可以看各个变量之间的关系是否变化来检测异常；但这种方法也只考虑到了逐点的信息
  • 用子序列的关联来建模，找到异常；但这种无法捕获每个时间点与整个序列之间的细粒度时间关联
  • 无法捕获每个时间点与整个序列之间的细粒度时间关联

二、思想概述-基于关联的准则

对每个时间点的先验关联和序列关联进行建模，由于异常点的先验关联和序列关联都差不多，因此异常的关联差异会比正常时间点小，在两个分支之间采用极大极小策略，放大关联差异的正常与异常可分辨性。
image.png

image.png

2.1、序列关联

序列关联：点与整个序列的关联；每个时间点的时间关联可以从自注意图中得到，该自注意图表现为其对所有时间点的关联权值沿时间维的分布。每个时间点的关联分布可以为时间上下文提供更有信息的描述。原始transformer中的自注意力权值

2.2、先验关联

先验关联：点与相邻序列的关联；异常的关联应集中在相邻的时间点，这些时间点由于连续性更容易包含相似的异常模式。这种邻接集中的归纳偏倚被称为先验关联；使用可学习的高斯核来表示每个时间点的邻接集中归纳偏差

2.3、关联差异

关联差异：每个时间点的先验关联和序列关联之间的距离来量化，称为关联差异

三、解决方法

3.1、模型整体架构

图一

3.2、Anomaly-Attention

一个双分支结构的异常注意力机制(图一左)，上半部用来计算先验关联，下半部是计算序列关联，即原始transformer得权重矩阵。Anomaly-Attention得公式表示如下公式一。
公式一
其中 σ ∈ R N × 1 σ∈R^{N×1} σ∈RN×1为可学习的尺度参数

3.3、Association Discrepancy

算出了先验关联和序列关联，接下来就要算两者的关联差异；将关联差异形式化为先验关联和序列关联之间的对称KL散度，它表示这两个分布之间的信息增益。我们对多层的关联差异进行平均，将多层特征的关联组合成一个更有信息量的度量，公式如下：
公式二
其中i代表时间点，L代表层数

3.4、Training Strategy

3.4.1、Vanilla Version

公式三
第一项是重构损失，让模型提取到的特征更准确；第二项是差异损失，让异常的可识别性更强

理解：要想损失越小，那么第二项就要越大，就意味着关联差异越大，就意味着先验关联和序列关联越大；要想先验关联和序列关联越大，那么就要引导序列关联更多地关注非相邻区域；因为这样做，对于异常点来说即便更多的关注了非邻域区域，但由于异常点很难与全局时间序列建立关系，所以先验关联和序列关联的差异还是很小；但对于正常点来说，多的关注了非邻域区域，那么就会使序列关联对角线的值变小，而对角线以外的值变大，这样先验关联和序列关联的差异就会变大。就会让异常的可识别性更强。

此种方法的缺点：
直接最大化第二项的差异损失，会让先验关联中可学习的尺度参数σ变为0，使先验关联变得毫无意义

3.4.2、Minimax Association Learning

图二
参考图一和图二，本文采用的训练策略分为两步
第一步：最小化阶段，固定序列关联，让先验关联尽可能的去贴近序列关联，这一过程将使先验关联适应不同的时间模式；
第二步：最大化阶段，固定先验关联，让序列关联尽可能的去远离序列关联，这个过程迫使序列关联更加关注非邻域区域；
由于先验关联在最小阶段近似于序列关联，因此最大阶段将对序列关联进行更强的约束，迫使时间点更加关注非相邻区域。在重构损失下，异常比正常时间点更难达到这一点，从而放大了关联差异的正常-异常可分辨性。

3.5、Association-based Anomaly Criterion

公式四
本文定义的异常判别准则如公式四所示：
第一项是关联差异，第二项是重构重构差异，上述的准则，对于异常点来说，不管怎样，异常分数都是大的：
图三

四、试验分析

4.1、结果分析

采用了6个数据集，在18个模型上验证
image.png

4.2、消融实验

image.png

4.3、异常判据的可视化

image.png

4.4、先验关联学习尺度的可视化

image.png

今天上上签
关注
  • 12
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
阅读笔记 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
一颗蚂蚱
11-30 1011
在无监督时间序列异常检测中，异常点的关联主要集中在它们相邻的时间点上，而不是整个时间序列。这种关联的局部集中性提供了一种天然的区分正常和异常时间点的标准。
论文研读 | Anomaly-Transformer：基于关联差异的时间序列异常检测方法
ST_group的博客
11-02 1157
本文是由清华大学2022年发表于ICLR会议的一篇文章，作者创新地提出了一种新的无监督时序异常检测模型——Anomaly Transformer，该模型在服务器监测、地空探索、水流观测等应用中均展现出了优秀的异常检测结果。
Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy【时序异常检测】
weixin_52250664的博客
12-20 509
本文主要思想 ① 设计一种Anomaly Transformer with an Anomaly-Attention mechanism来量化prior-association以及series-association，并得到Association Discrepancy。 ② 随后利用minimax strategy来放大Association Discrepancy，以更好区分异常点与正常点。
anomaly transformer文章解读
lyj19941231的博客
04-06 4096
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 1.文章简介 文章发表在2022 ICLR上，被评为ICLR亮点文章，第一作者为清华大学一名硕士生，主要想解决的是时间序列数据上的异常检测问题，此方法适用于单维时间序列与多维时间序列。 2.创新点 文章的主要工作是通过正常点与异常点的关联差异性去解决异常检测问题，主要的创新点在于： 1）提出了一个区分关于正常点和异常点的判据，正常点与异常点在与时间
《异常检测——从经典算法到深度学习》21 Anomaly Transformer：具有关联差异的时间序列异常检测
Smileyan's blog
06-20 8683
anomaly-transform
【时间序列异常检测】Anomaly-Transformer
博观约取，厚积薄发
05-20 6219
时间序列异常点的无监督检测是一个具有挑战性的问题，需要模型推导出一个可区分的判据。以往的方法主要通过学习点表示或成对关联来解决这个问题，但这两种方法都不足以对复杂的动力学进行推理。近年来，Transformers 在点向表示和成对关联的统一建模方面表现出了强大的能力，我们发现每个时间点的 self-attention 权重分布可以体现出与整个序列的丰富关联。我们的重点观察是，由于异常非常罕见，很难建立从异常点到整个序列的有用的关联，因此异常关联主要集中在其相邻时间点上。这种 adjacent-concent
用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip
02-21
用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip用于评估各类时间序列异常...
RNN-Time-series-Anomaly-Detection:在Pytorch中实现的基于RNN的时间序列异常检测器模型
04-12
RNN时间序列异常检测在Pytorch中实现的基于RNN的时间序列异常检测器模型。 这是基于RNN的时间序列异常检测器的一种实现，它由时间序列预测和异常分数计算的两阶段策略组成。要求Ubuntu 16.04+（在Windows 10上报告了...
Long Short Term Memory Networks for Anomaly Detection in Time Series
11-16
Long Short Term Memory Networks for Anomaly Detection in Time Series - LSTM在时序数据中的应用
TimeSeries-Anomaly-Detection:自动检测性能回归
03-08
时间序列异常检测是一种重要的数据分析技术，特别是在监控系统性能、设备维护和业务分析等领域。自动检测性能回归是这一技术的一个具体应用，旨在及时发现系统或应用性能的退化，确保服务质量和用户体验。...
Time_Series_Anomaly_Detection：使用带有LSTM单元和自动编码器的RNN检测时间序列中异常数据点的案例研究
02-16
Time_Series_Anomaly_Detection：使用带有LSTM单元和自动编码器的RNN检测时间序列中异常数据点的案例研究
Forward Neural Network for Time Series Anomaly Detection
12-26
腾讯的研究论文，摘要：Time series anomaly detection is usually formulated as finding outlier data points relative to some usual data, which is also an important problem in industry and academia....
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 论文解读
xuecaisun的博客
05-17 838
这篇文章是2022年的，算是比较新的，目前时序检测的新文章并不多，一方面这个时序异常检测在模型和计算上都不算难，再怎么创新也没什么太大水花，另一方面异常检测中的时序检测已经比较成熟了，大家更关注异常检测中的图像和音频之类的。还是提醒一句：对于异常点，这两个关联有小的差异，对于正常点，这两个关联之间存在很大差异。除了重建损失外，我们的模型还通过极小极大策略进行了优化，该策略采用了专门设计的停止梯度机制(灰色箭头)来约束先验关联和序列关联，以获得更可区分的关联差异。仿transformer。
【时间序列异常检测】Anomaly Transformer
AI蜗牛车
08-20 3300
论文：ICLR2022 | Anomaly transformer: Time series anomaly detection with association discrepancy [1]作者：徐介晖，吴海旭，王建民，龙明盛机构：清华大学软件学院BNRist代码：https://github.com/thuml/Anomaly-Transformer录播：https://www.bilibi...
[时序异常检测]Anomaly Transformer算法详解
最新发布
wlgtcl的博客
03-20 1578
因此最大阶段将对序列关联进行更强的约束，迫使时间点更加关注非相邻区域。在重构损失下，异常比正常时间点更难达到这一点，从而放大了关联差异的正常-异常可分辨性。在最大化阶段，我们对序列关联进行优化，扩大关联差异。解释：对于异常点，Gauss距离会关注附近的点，注意力也会如此，导致AssDis很小， 如果放大AssDis，则会使其关注较远的点。作者采用对称KL散度形式化先验关联和序列关联之间的关联差异，表示这两个分布之间的信息增益。，使先验关联适应不同的时间序列模式，主要用于匹配不同长度的异常时间段。
【论文阅读】基于深度学习的时序异常检测——Anomaly Transformer
weixin_36488653的博客
08-07 1771
基于深度学习的异常检测：Anomaly Transformer
Anomaly-Transformer (ICLR 2022 )代码通过CPU复现
weixin_44385635的博客
04-14 619
参考链接：https://blog.csdn.net/ssjdoudou/article/details/103640129。就是在原来.cuda()的地方都改成.to(device)尝试在CPU上复现MSL的结果。原因是没有输入参数，解决可参考。在程序最开始的地方加上。
异常数据检测 | Python实现Anomaly-Transformer时间序列异常数据检测
算法如诗的博客
08-14 1753
异常数据检测 | Python实现Anomaly-Transformer时间序列异常数据检测
论文复现 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
一颗蚂蚱
12-23 1702
日志级记录复现Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
anomaly transformer程序
07-28
Anomaly Transformer是一种基于变压器的异常检测模型，它使用自适应和对抗训练过程。该模型的架构使其能够快速训练和测试，并且能够处理大输入序列。与简单的基于变压器的编码器-解码器网络相比，Anomaly Transformer通过一种对抗性训练程序来缓解重建误差，从而更好地检测异常。\[2\] 在Anomaly Transformer的代码中，可以看到使用了一种名为EncoderAtt的编码器。在该编码器中，通过将原来的.cuda()替换为.to(device)，将模型移动到指定的设备上进行训练和推断。具体来说，self.encoder = EncoderAtt(input_size=self.X.shape\[1\], hidden_size=encoder_hidden_size, T=T).to(device)这行代码将EncoderAtt模型移动到指定的设备上。\[3\] Anomaly Transformer的代码可以在GitHub上找到，具体地址是：GitHub - thuml/Anomaly-Transformer: About Code release for "Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy" (ICLR 2022 Spotlight) \[1\]。你可以在该代码库中找到更多关于Anomaly Transformer的实现细节和使用方法。 #### 引用[.reference_title] - *1* *3* [Anomaly-Transformer (ICLR 2022 )代码通过CPU复现](https://blog.csdn.net/weixin_44385635/article/details/130146282)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data](https://blog.csdn.net/zj_18706809267/article/details/125059124)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值