《异常检测——从经典算法到深度学习》9 异常检测资料汇总(持续更新&抛砖引玉)

这篇博客汇总了多种异常检测算法,包括基于隔离森林、LOF、One-Class SVM、高斯概率密度等经典方法,以及利用VAE、GANs等深度学习技术的最新进展。此外,还提供了数据集、学习资源和开源代码,是研究和实践异常检测的宝贵资料。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

《异常检测——从经典算法到深度学习》

相关:

9 异常检测资料汇总(持续更新&抛砖引玉)

考虑到异常检测任务的繁琐,这里特地列举一些可能大家用的到的论文和资料,如果有补充请务必在后面留言。

9.1 论文

论文是重中之重,请务必重视论文阅读。但是在这里很难也不可能列举出所有优秀的论文,所以这里只提供一些常用的查论文的方法等。

此系列论文都保存在 阿里云盘,以后的更新也都将同步到这个云盘中。

论文名称年份标签下载地址源码个人笔记
Isolation Forest2009Isolation Forest/集成学习蓝奏云sklearnCSDN1
LOF: Identifying Density-Based Local Outliers2000基于分布密度差异/基于局部计算蓝奏云sklearnCSDN2
Opprentice: Towards Practical and Automatic Anomaly Detection Through Machine Learning2015随机森林 / 集成学习 / KPInetman\CSDN5
Variational Autoencoder based Anomaly Detection using Reconstruction Probability2015VAE蓝奏云\CSDN6
Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications2018VAE / KPInetmangithubCSDN8
Robust and Unsupervised KPI Anomaly Detection Based on Conditional Variational Autoencoder2018cVAE / KPInetmangithubCSDN10
Rapid Deployment of Anomaly Detection Models for Large Number of Emerging KPI Streams2018Framework/集群netman\CSDN11
Unsupervised Anomaly Detection for Intricate KPIs via Adversarial Training of VAE2019VAE/GANnetman\CSDN12
Anomaly Detection with Generative AdversarialNetworks for Multivariate Time Series2018GAN/RNN/LSTMarxivgithubCSDN13
Robust Random Cut Forest Based Anomaly Detection On Streams2016随机森林/RRCFproceedingsgithubCSDN14
Practical and White-Box Anomaly Detection through Unsupervised and Active Learning2020随机森林/RRCFnetman\CSDN15
Unsupervised Anomaly Detection with Variational Auto-Encoder and Local Outliers Factor for KPIs2021VAE / LOFISPA\CSDN16
ANOMALY DETECTION FOR TIME SERIES USING VAE-LSTM HYBRID MODEL2020VAE-LSTMICASSP\CSDN17
USAD : UnSupervised Anomaly Detection on Multivariate Time Series2020adversely AutoEncoderresearch gate\CSDN18
Robust Anomaly Detection for Multivariate Time Series through Stochastic Recurrent Neural Network2019RNNKDD 19githubCSDN19
HotSpot: Anomaly Localization for Additive KPIs with Multi-Dimensional Attributes2018蒙特卡罗搜索树IEEE Access netman\CSDN20
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY2022TransformerICLR arxivgithubCSDN21
Identifying Erroneous Software Changes through Self-Supervised Contrastive Learning on Time Series Data2022LSTMISSRE netmangithubCSDN22
TIMESNET: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS2023/ICLR2023githubCSDN23
TSB-UAD: an end-to-end benchmark suite for univariate time-series anomaly detection2023/VLDBgithubCSDN24
Deep Isolation Forest for Anomaly Detection2023Deep IFTKDE arxivgithubCSDN25
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models2024LLMarxivgithubCSDN26
Actionable and Interpretable Fault Localization for Recurring Failures in Online Service Systems2022FDG, GATnetmanCSDN27

9.2 数据集

这个是特别需要关注的地方,因为没有数据集就没法做实验,没有数据集是一个非常严重的问题。到目前为止能够直接使用的数据集也很少。

其他数据集:

iTrust 数据集(以下内容均来自iTrust官方回复的邮件,一般最新的也会存储与此云盘):

SWaT

ITEM链接
SWaT.A1 & A2_Dec 2015https://drive.google.com/drive/folders/1xTNQDqEFtFfDuhl75P23ZNIeGgCntRt7?usp=sharing
SWaT.A3_Jun 2017https://drive.google.com/drive/folders/1hcowKm_VtU_Q5HY-jRsiaoKl8IGYGQQj?usp=sharing
SWaT.A4 & A5_Jul 2019https://drive.google.com/drive/folders/1OD2DSt4T-3WysolSLCda7hNYnoc62Mtq?usp=sharing
SWaT.A6_Dec 2019https://drive.google.com/drive/folders/188nwa2EYofof4X2KgDNEav2WtmEN4YBn?usp=sharing
SWaT.A7_Jun 2020https://drive.google.com/drive/folders/1LRU4R8Szec3jO31YX2cI5qO-ToZ3WUkv?usp=sharing
ALLhttps://drive.google.com/drive/folders/1ABZKdclka3e2NXBSxS9z2YF59p7g2Y5I?usp=sharing

WADI

ITEM链接
WADI.A1_9 Oct 2017https://drive.google.com/drive/folders/1-4WJfyLTIC1QBdUXMecols_bRCuCqwYW?usp=sharing
WADI.A2_19 Nov 2019https://drive.google.com/drive/folders/12mqpuejSSjq2Wa_0muVjcoQuLN0H6vZt?usp=sharing
Allhttps://drive.google.com/drive/folders/11XWMQruwxFvlVEiqNgZ1mxVw-c-5xSmR?usp=sharing

EPIC

https://drive.google.com/drive/folders/1WdWIOSM2E2bLPl9wAUFLlaZUWSa3M3RF?usp=sharing

CISS

ITEM链接
S317https://drive.google.com/drive/folders/1prgaDr7TC0v0ln5M-0RFUjhOMnMsQ8dm?usp=sharing
CISS 2019https://drive.google.com/drive/folders/11jmDoCTFTX9oy2BthxQXOrzQg8DsZNpM?usp=sharing
Allhttps://drive.google.com/drive/folders/1k8RE8XXwxaFZXwQ7qmvnHLJZL2kaLISy?usp=sharing

Blaq_0
https://drive.google.com/drive/folders/1fkgwxT9zwxlbpZ-mpLuPYRv7DcQ2ljek?usp=sharing

BATADAL
https://drive.google.com/drive/folders/12-nEv4WaPlgj6SYb-vc7tBFrwxNSWjaV?usp=sharing

9.3 学习资源

华为云学院提供了微认证,推荐新手了解一下。

  • NAIE日志异常检测服务应用 https://edu.huaweicloud.com/certifications/78d55ca9c9fa4b40b73f7979ffab9a43
  • NAIE KPI异常检测模型服务应用 https://edu.huaweicloud.com/certifications/3310e5169bf54940bf644d0201ab7013

9.4 其他资源

一些源代码可以在github上找到。

在线文章 / 博客

此处声明,电子书籍均来源网络,此处分享均以学习为目的,未收取任何费用,如有侵权请告知,立即取消分享:

9.5 资源征集

由于自己能力有限,收集到的资料也相当有限,抱歉!将会持续更新!

如果有任何觉得相关或者可以用来做异常检测算法实验的数据集,都可以留言分享一下。在这里代表需要的小伙伴们 感谢分享!


编写不易,拒绝白piao。。。

感谢 您的 阅读点赞收藏评论 ,别忘了 还可以 关注 一下哈,感谢 您的支持!


Smileyan
2021.3.7 21:57
最后更新 2023.03.03 21:53

### SWAT 数据集的相关资源 关于 SWAT 数据集的信息,可以从多个公开数据门户和研究项目中获取。以下是与 SWAT 数据集相关的几个重要来源: #### 1. **Dartmouth 的无线数据存档** Dartmouth 提供了一个社区资源用于存储无线网络数据,这可能包含了 SWAT 数据集或其他类似的实验数据集合[^1]。访问该网站可以找到更多细节以及潜在的数据下载选项。 #### 2. **开放数据门户网站列表** 通过全球范围内的开放数据门户网站汇总站点,能够发现许多地理空间和社会科学领域中的公共数据集。例如 GeoCommons 是一个由社区贡献的世界各地开放式数据集合平台,在这里可能会有 SWAT 或其他相关模型使用的输入数据文件[^2]。 #### Python 脚本示例:自动化查找并下载数据 如果需要批量处理或者自动化的检索这些数据库,则可以通过编写脚本来实现这一目标。下面是一个简单的例子来展示如何利用 `requests` 和 `BeautifulSoup` 库抓取网页上的链接信息。 ```python import requests from bs4 import BeautifulSoup url = 'https://example.com/swat-dataset' # 替换为目标页面的实际URL地址 response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') links = soup.find_all('a') for link in links: href = link.get('href') if 'swat' in str(href).lower(): print(f"Potential SWAT Dataset Link Found: {href}") ``` #### 注意事项 - 上述代码仅为演示目的而设计;实际应用前需调整 URL 及关键词匹配逻辑以适应具体需求。 - 访问某些受保护的学术或政府机构托管的服务时,请遵循其服务条款和服务协议规定。
评论 24
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

smile-yan

感谢您的支持!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值