ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 论文解读

已于 2023-05-18 16:43:14 修改
阅读量830 收藏 10
点赞数 1
文章标签： transformer 深度学习 计算机视觉
于 2023-05-17 13:13:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuecaisun/article/details/130596687
版权
本文介绍了论文ANOMALY TRANSFORMER，该论文提出利用Transformer结构进行时序异常检测。创新点包括计算Association Discrepancy评估异常和采用Minimax Strategy放大差异。通过Anomaly-Attention、Prior-Association和Series-Association，论文提出了一种适应不同时间序列模式的方法，增强了正常与异常序列的区分度。
摘要由CSDN通过智能技术生成

最近又在做异常检测方面，所以这里记录一下比较经典的基于transformer的时序异常检测文章。

这篇文章是2022年的，算是比较新的，目前时序检测的新文章并不多，一方面这个时序异常检测在模型和计算上都不算难，再怎么创新也没什么太大水花，另一方面异常检测中的时序检测已经比较成熟了，大家更关注异常检测中的图像和音频之类的。

这篇论文的创新点有两个：

  1. 借鉴了transformer结构，提出了Prior-Association和Series- Association，计算Association Discrepancy，用以评估异常
  2. Minimax Strategy，用来放大Association Discrepancy

关于第一个创新点在上图

右边的框架就是仿transformer的，输入序列\chi \in R^{N\times d}, l\in \left \{ 1,...,L \right \}表明框架的层数，N为序列长度，d表示输入维度，总体计算：

Z^{l} = LayerNorm(AnomalyAttention(\chi ^{l-1}) + \chi ^{l-1})

最低0.47元/天 解锁文章
xuecaisun
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RNN-Time-series-Anomaly-Detection:在Pytorch中实现的基于RNN的时间序列异常检测器模型
04-12
RNN时间序列异常检测 在Pytorch中实现的基于RNN的时间序列异常检测器模型。 这是基于RNN的时间序列异常检测器的一种实现，它由时间序列预测和异常分数计算的两阶段策略组成。 要求 Ubuntu 16.04+（在Windows 10上报告了错误。请参阅。欢迎提出建议。） Python 3.5+ 火炬0.4.0+ 脾气暴躁的 Matplotlib Scikit学习 数据集 1.纽约市出租车乘客人数 提供的纽约市出租车乘客数据流 Cui，Yuwei等人进行了预处理（以30分钟为间隔汇总）。 在中 ， 2.心电图（ECG） ECG数据集包含对应于心室前收缩的单个异常 3. 2D手势（视频监控） 视频中手势的XY坐标 4.呼吸 一个病人的呼吸（通过胸廓扩展测量，采样率10Hz） 5.航天飞机 航天飞机Marotta阀的时间序列 6.电力需求 荷兰研究机构一年的电力需求 时
【时间序列异常检测】Anomaly-Transformer
博观约取，厚积薄发
05-20 6175
时间序列异常点的无监督检测是一个具有挑战性的问题，需要模型推导出一个可区分的判据。以往的方法主要通过学习点表示或成对关联来解决这个问题，但这两种方法都不足以对复杂的动力学进行推理。近年来，Transformers 在点向表示和成对关联的统一建模方面表现出了强大的能力，我们发现每个时间点的 self-attention 权重分布可以体现出与整个序列的丰富关联。我们的重点观察是，由于异常非常罕见，很难建立从异常点到整个序列的有用的关联，因此异常关联主要集中在其相邻时间点上。这种 adjacent-concent
anomaly transformer文章解读
lyj19941231的博客
04-06 4072
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 1.文章简介 文章发表在2022 ICLR上，被评为ICLR亮点文章，第一作者为清华大学一名硕士生，主要想解决的是时间序列数据上的异常检测问题，此方法适用于单维时间序列与多维时间序列。 2.创新点 文章的主要工作是通过正常点与异常点的关联差异性去解决异常检测问题，主要的创新点在于： 1）提出了一个区分关于正常点和异常点的判据，正常点与异常点在与时间
《异常检测——从经典算法到深度学习》21 Anomaly Transformer：具有关联差异的时间序列异常检测
Smileyan's blog
06-20 8298
anomaly-transform
Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy【时序异常检测】
weixin_52250664的博客
12-20 502
本文主要思想 ① 设计一种Anomaly Transformer with an Anomaly-Attention mechanism来量化prior-association以及series-association，并得到Association Discrepancy。 ② 随后利用minimax strategy来放大Association Discrepancy，以更好区分异常点与正常点。
论文研读 | Anomaly-Transformer：基于关联差异的时间序列异常检测方法
ST_group的博客
11-02 1141
本文是由清华大学2022年发表于ICLR会议的一篇文章，作者创新地提出了一种新的无监督时序异常检测模型——Anomaly Transformer，该模型在服务器监测、地空探索、水流观测等应用中均展现出了优秀的异常检测结果。
ITRANSFORMER: INVERTED TRANSFORMERS AREEFFECTIVE FOR TIME SERIES FORECASTING 论文阅读
weixin_51657614的博客
03-13 1029
论文地址: https://arxiv.org/abs/2310.06625 代码: GitHub - thuml/iTransformer: Official implementation for "iTransformer: Inverted Transformers Are Effective for Time Series Forecasting" (ICLR 2024 Spotlight), https://openreview.net/forum?id=JePfAI8fah摘要最近线性预测模型的
用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip
02-21
用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip用于评估各类时间序列异常...
Long Short Term Memory Networks for Anomaly Detection in Time Series
11-16
Long Short Term Memory Networks for Anomaly Detection in Time Series - LSTM在时序数据中的应用
TimeSeries-Anomaly-Detection:自动检测性能回归
03-08
时间序列异常检测是一种重要的数据分析技术，特别是在监控系统性能、设备维护和业务分析等领域。自动检测性能回归是这一技术的一个具体应用，旨在及时发现系统或应用性能的退化，确保服务质量和用户体验。...
anomaly_detection：使用mxnet和scikit-learn在NAB数据集中进行异常检测
02-04
在这个项目中，我们将深入探讨如何利用MXNet和scikit-learn库在NAB（Network Anomaly Benchmark）数据集上执行异常检测。 NAB数据集是一个专门用于异常检测算法评估的开源数据集合，它包含各种时间序列数据，涵盖了...
【时间序列异常检测】Anomaly Transformer
AI蜗牛车
08-20 3292
论文：ICLR2022 | Anomaly transformer: Time series anomaly detection with association discrepancy [1]作者：徐介晖，吴海旭，王建民，龙明盛机构：清华大学软件学院BNRist代码：https://github.com/thuml/Anomaly-Transformer录播：https://www.bilibi...
阅读笔记 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
一颗蚂蚱
11-30 995
在无监督时间序列异常检测中，异常点的关联主要集中在它们相邻的时间点上，而不是整个时间序列。这种关联的局部集中性提供了一种天然的区分正常和异常时间点的标准。
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY
bradyM的博客
03-19 1016
本文试图从一个全新的视角去分析时序异常检测。不同于之前的逐点建模的方式，我们想通过建模每个时刻与其他点的关系来作为每个时刻的特征，这样更具信息量，也就对应更方便进行检测。
[时序异常检测]Anomaly Transformer算法详解
最新发布
wlgtcl的博客
03-20 1526
因此最大阶段将对序列关联进行更强的约束，迫使时间点更加关注非相邻区域。在重构损失下，异常比正常时间点更难达到这一点，从而放大了关联差异的正常-异常可分辨性。在最大化阶段，我们对序列关联进行优化，扩大关联差异。解释：对于异常点，Gauss距离会关注附近的点，注意力也会如此，导致AssDis很小， 如果放大AssDis，则会使其关注较远的点。作者采用对称KL散度形式化先验关联和序列关联之间的关联差异，表示这两个分布之间的信息增益。，使先验关联适应不同的时间序列模式，主要用于匹配不同长度的异常时间段。
异常Transformer：具有关联差异的时间序列异常检测
weixin_45731480的博客
02-26 671
时间序列中异常点的无监督检测是一个具有挑战性的问题，它要求模型推导出一个可区分的准则。以前的方法主要通过学习逐点表示或成对关联来解决这个问题，然而，这两种方法都不足以解释复杂的动力学。近年来，Transformers在点态表示和成对关联的统一建模方面表现出了强大的能力，我们发现每个时间点的自注意权重分布能够体现出与整个序列的丰富关联。我们的关键观察是，由于异常的罕见性，从异常点到整个序列的非平凡关联是非常困难的，因此，异常的关联应主要集中在其相邻的时间点。
Anomaly-Transformer (ICLR 2022 )代码复现
hhx_1220的博客
03-14 1179
anomaly-transformer代码复现
时序异常检测综述整理！
小白学视觉
03-11 682
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达Datawhale干货作者：AI宅码，整理：尤而小屋最近阅读了几篇综述，个人比较推荐以下5篇：赵越博士的异常检测库Python Outlier Detection (PyOD) [1]写的很好，还提供了关于异常检测的学习资料[2]2020 | Anomaly detection in univariate time-seri...
异常数据检测 | Python实现Anomaly-Transformer时间序列异常数据检测
算法如诗的博客
08-14 1738
异常数据检测 | Python实现Anomaly-Transformer时间序列异常数据检测
anomaly-transformer
08-29
根据提供的引用内容，对于anomaly-transformer，根据引用中的内容，它是一种使用transformer模型进行异常检测的方法。同时，根据引用的内容，正常的＊＊＊异，引用提到了使用关联差异标准化重建误差进行异常分数的计算。综合来看，anomaly-transformer是一种利用transformer模型进行异常检测的方法，通过计算重建误差和关联差异来评估数据的异常程度。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 论文解读](https://blog.csdn.net/xuecaisun/article/details/130596687)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [BP-LSTM-Attention-transformer，含数据，可直接运行，TensorFlow](https://download.csdn.net/download/qq_30803353/87462558)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值