Anomaly-Transformer (ICLR 2022 )代码通过CPU复现

最新推荐文章于 2024-12-12 11:50:11 发布
最新推荐文章于 2024-12-12 11:50:11 发布
阅读量946 收藏 14
点赞数 1
文章标签： 深度学习 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44385635/article/details/130146282
版权

代码地址：GitHub - thuml/Anomaly-Transformer: About Code release for "Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy" (ICLR 2022 Spotlight), https://openreview.net/forum?id=LzQQ89U1qm_

尝试在CPU上复现MSL的结果

遇到两个报错：

1 Torch not compiled with CUDA enabled”

解决办法：

在程序最开始的地方加上

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
使用的时候

self.encoder = EncoderAtt(input_size=self.X.shape[1], hidden_size=encoder_hidden_size, T=T).to(device)
就是在原来.cuda()的地方都改成.to(device)
参考链接：https://blog.csdn.net/ssjdoudou/article/details/103640129

2 ValueError: too many values to unpack (expected 2)

原因是没有输入参数，解决可参考Anomaly-Transformer (ICLR 2022 )代码复现_hhx_1220的博客-CSDN博客

以下是跑出的结果：

 基本和作者文中的差不多：

 

Luc1992
关注
异常数据检测 | Python实现Anomaly-Transformer时间序列异常数据检测
算法如诗的博客
08-14 2214
异常数据检测 | Python实现Anomaly-Transformer时间序列异常数据检测
开源项目常见问题解决方案：Anomaly-Transformer
gitblog_00136的博客
12-12 748
开源项目常见问题解决方案：Anomaly-Transformer Anomaly-Transformer Anomaly-Transformer - 一个用于时间序列异常检测的模型，通过关联差异性进行无监督学习，发表于ICLR 2022。 ...
【传知代码】transformer-论文复现
感谢关注-最近在编写开源的自动化测试框架还没整理完
05-24 1694
Transformer模型是谷歌2017年提出的，它革新性地用自注意力机制替代了传统的CNN和RNN，解决了长距离依赖问题并实现了高效并行计算。模型包含编码器和解码器，每个由多层Transformer块组成，块内有自注意力层、前馈层并采用残差连接和层归一化。源码可在相关文章附件获取。模型通过位置编码处理序列位置信息，多头自注意力能捕捉不同层面的上下文。训练时，使用CIFAR100数据集，通过ResNet提取特征，再用PyTorch Lightning进行训练和评估。
经典论文复现 | LSGAN：最小二乘生成对抗网络
Paper weekly
10-10 2912
过去几年发表于各大 AI 顶会论文提出的 400 多种算法中，公开算法代码的仅占 6%，其中三分之一的论文作者分享了测试数据，约 54% 的分享包含“伪代码”。这是今年 ...
Anomaly-Transformer (ICLR 2022 )代码复现
hhx_1220的博客
03-14 1701
anomaly-transformer代码复现
Anomaly-Transformer (ICLR 2022 Spotlight)复现过程及问题
博观约取，厚积薄发
07-01 3606
Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy 复现
[时序异常检测]Anomaly Transformer算法详解
wlgtcl的博客
03-20 3371
因此最大阶段将对序列关联进行更强的约束，迫使时间点更加关注非相邻区域。在重构损失下，异常比正常时间点更难达到这一点，从而放大了关联差异的正常-异常可分辨性。在最大化阶段，我们对序列关联进行优化，扩大关联差异。解释：对于异常点，Gauss距离会关注附近的点，注意力也会如此，导致AssDis很小， 如果放大AssDis，则会使其关注较远的点。作者采用对称KL散度形式化先验关联和序列关联之间的关联差异，表示这两个分布之间的信息增益。，使先验关联适应不同的时间序列模式，主要用于匹配不同长度的异常时间段。
论文复现 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
一颗蚂蚱
12-23 2658
日志级记录复现Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
Anomaly-Transformer 代码复现
最新发布
03-30
</think>### Anomaly-Transformer代码复现方法 Anomaly-Transformer是ICLR 2022提出的时间序列异常检测模型，其核心是通过关联差异机制捕捉时序数据的潜在模式。以下是基于官方仓库的复现步骤： 1. **环境配置** ...
Anomaly-Transformer数据集
10-07
Anomaly-Transformer是一个用于时间序列异常检测的模型，它基于自注意力机制和序列关联性计算来捕捉时间序列数据中的异常模式。根据提供的引用，该模型的代码已经在GitHub上开源，你可以通过该链接获取更多关于代码...
Time_Series_Anomaly_Detection：使用带有LSTM单元和自动编码器的RNN检测时间序列中异常数据点的案例研究
02-16
Time_Series_Anomaly_Detection：使用带有LSTM单元和自动编码器的RNN检测时间序列中异常数据点的案例研究
Deep-Learning-Time-Series-Anomaly-Detection-master_.zip
04-14
在这个项目"Deep-Learning-Time-Series-Anomaly-Detection-master"中，我们将深入探讨LSTM如何被用来识别和预测时间序列中的异常情况。 首先，我们需要理解时间序列数据。时间序列数据是指按照特定时间顺序收集的...
PatchCore-anomaly-detection-main.zip
09-11
“Towards Total Recall in Industrial Anomaly Detection”在MVtec数据集上排名第一的方法，是基于pytorch实现的，非官方源码， 简称“PatchCore”
anomaly-transformer
08-29
综合来看，anomaly-transformer是一种利用transformer模型进行异常检测的方法，通过计算重建误差和关联差异来评估数据的异常程度。<span class="em">1</span><span class="em">2</span><span class="em">3 #### 引用...
【时间序列异常检测】Anomaly-Transformer
博观约取，厚积薄发
05-20 7061
时间序列异常点的无监督检测是一个具有挑战性的问题，需要模型推导出一个可区分的判据。以往的方法主要通过学习点表示或成对关联来解决这个问题，但这两种方法都不足以对复杂的动力学进行推理。近年来，Transformers 在点向表示和成对关联的统一建模方面表现出了强大的能力，我们发现每个时间点的 self-attention 权重分布可以体现出与整个序列的丰富关联。我们的重点观察是，由于异常非常罕见，很难建立从异常点到整个序列的有用的关联，因此异常关联主要集中在其相邻时间点上。这种 adjacent-concent
【论文阅读】基于深度学习的时序异常检测——Anomaly Transformer
weixin_36488653的博客
08-07 2286
基于深度学习的异常检测：Anomaly Transformer
《异常检测——从经典算法到深度学习》21 Anomaly Transformer：具有关联差异的时间序列异常检测
热门推荐
Smileyan's blog
06-20 1万+
anomaly-transform
anomaly transformer文章解读
lyj19941231的博客
04-06 4946
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 1.文章简介 文章发表在2022 ICLR上，被评为ICLR亮点文章，第一作者为清华大学一名硕士生，主要想解决的是时间序列数据上的异常检测问题，此方法适用于单维时间序列与多维时间序列。 2.创新点 文章的主要工作是通过正常点与异常点的关联差异性去解决异常检测问题，主要的创新点在于： 1）提出了一个区分关于正常点和异常点的判据，正常点与异常点在与时间
论文研读 | Anomaly-Transformer：基于关联差异的时间序列异常检测方法
ST_group的博客
11-02 1724
本文是由清华大学2022年发表于ICLR会议的一篇文章，作者创新地提出了一种新的无监督时序异常检测模型——Anomaly Transformer，该模型在服务器监测、地空探索、水流观测等应用中均展现出了优秀的异常检测结果。
anomaly transformer复现
03-17
<think>好的，用户正在寻找关于Anomaly Transformer的复现方法或代码实现的教程，特别是GitHub上的资源。我需要先回顾已有的引用内容，看看是否有相关的信息。 根据引用[1]和[2]，用户已经提供了GitHub仓库的链接，属于thuml的Anomaly-Transformer项目，这应该是主要的代码源。引用[4]提到了复现过程中遇到的具体问题，比如PyTorch版本的问题和代码卡住的情况，这可能对用户有帮助。 用户可能需要详细的步骤说明，包括环境配置、依赖安装、数据准备和训练流程。此外，需要注意用户提到的引用[4]中的问题，比如PyTorch版本不兼容，可能需要建议使用特定版本的PyTorch或其他依赖库。 还需要考虑用户可能的疑问点，比如环境配置的具体要求，如何处理数据集的下载和预处理，以及如何解决复现过程中可能遇到的常见错误。同时，根据用户提供的引用，可以推荐参考官方的代码仓库和论文，以确保复现的正确性。 可能还需要生成相关问题，帮助用户深入理解Anomaly Transformer的实现细节和优化方法。例如，如何处理关联差异度量的计算，或者如何调整模型参数以适应不同的时间序列数据。 总结来说，回答需要结构清晰，分步骤指导用户如何从GitHub获取代码，配置环境，处理数据，运行训练和测试，同时提醒可能遇到的问题和解决方法，并引用提供的参考资料。</think>### Anomaly Transformer复现方法及代码实现 Anomaly Transformer是基于自注意力机制的时间序列异常检测模型，其核心思想是通过关联差异（Association Discrepancy）来捕捉时间序列的异常模式。以下是复现方法及代码实现的详细说明： #### 一、官方代码资源 1. **GitHub仓库地址** 官方代码已开源在GitHub： [GitHub - thuml/Anomaly-Transformer](https://github.com/thuml/Anomaly-Transformer) 包含完整的训练/测试代码、数据集处理脚本和预训练模型[^1][^2]。 2. **关键文件说明** - `main.py`: 主程序入口，支持训练和测试模式 - `model/attn.py`: 关联差异模块的实现 - `data_preprocessing/`: 数据集标准化和分段处理脚本 #### 二、复现步骤（基于引用内容优化） 1. **环境配置** 推荐使用以下配置避免版本冲突： ```bash Python 3.7+ PyTorch 1.8+（若使用GPU需对应CUDA版本） numpy >= 1.19 scikit-learn >= 0.24 # 用于数据预处理[^4] ``` 2. **代码运行流程** ```bash # 克隆仓库 git clone https://github.com/thuml/Anomaly-Transformer.git cd Anomaly-Transformer # 安装依赖（建议使用虚拟环境） pip install -r requirements.txt # 数据准备（以SMAP数据集为例） python data_preprocessing/SMAP_processing.py # 训练命令 python main.py --mode train --dataset SMAP --window_size 100 # 测试命令 python main.py --mode test --dataset SMAP --window_size 100 ``` 3. **关键参数说明** ```python --window_size 100 # 时间窗口大小 --anormly_ratio 4 # 异常样本比例阈值 --num_epochs 10 # 训练轮次 --lr 1e-4 # 学习率 ``` #### 三、常见问题解决方案（基于引用[4]补充） 1. **PyTorch版本问题** 若使用PyTorch 1.4出现卡死现象，建议升级到PyTorch 1.8+，修改以下代码： ```python # 原问题代码（attn.py） self.distances = torch.zeros((window_size, window_size)).cuda() # 修改为显式指定设备 self.distances = torch.zeros((window_size, window_size), device=torch.device('cuda' if torch.cuda.is_available() else 'cpu')) ``` 2. **CPU运行支持** 若需在CPU运行，需修改所有`.cuda()`调用： ```python # 在所有模型文件中替换 tensor.cuda() → tensor.to(device) # 并在主程序中添加 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") ``` #### 四、结果验证 1. **性能指标** 正常应达到以下基准（SMAP数据集）： ```text F1-score: 0.92±0.03 AUROC: 0.96±0.02[^1] ``` 2. **可视化验证** 运行后会在`./results`目录生成： - 损失曲线图（loss_curve.png） - 异常分数分布图（anomaly_scores.png）
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值