异常检测（Anomaly Detection）综述

最新推荐文章于 2024-09-20 17:00:28 发布
最新推荐文章于 2024-09-20 17:00:28 发布
阅读量3.1k 收藏 22
点赞数 1
文章标签： 算法 神经网络 机器学习 人工智能 深度学习

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自|计算机视觉life

导读

 

异常检测是一个发现“少数派”的过程，本文将目前深度学习的异常检测的热门研究方向进行了分类，并列举了对应的文章，并推荐了值得一读的8篇新颖论文，帮助大家理解学习异常检测这一领域。

   一、简介

异常检测一直是机器学习中一个非常重要的子分支，在各种人工智能落地应用例如计算机视觉、数据挖掘、NLP中，异常检测算法都是很热门的研究方向，特别是大数据时代，人工处理数据的速度已经远远赶不上机器了，所以更快地检测数据中的异常情况成为了我们当下非常重要的任务。在深度学习广泛的推广之前，传统的异常检测算法有很多，例如高斯拟合，半监督学习等等，而在深度学习大火之后，人们也开始研究将深度学习应用于各种异常任务中(也就是Deep Anomaly Detection，以下统称DAD)，并取得了很大的成功，本文将把当下该方向热门的研究方向分类并列举了对应的文章，希望能帮助大家更好地理解此方向的研究。

   二、异常检测的概念

异常检测，从定义而言就是一种识别不正常情况与挖掘非逻辑数据的技术，也叫outliers。例如在计算机视觉的应用中，有人在抖音发表一个视屏，在边骑车边打电话，那这就是个不符合规范的视屏，我们能否采用一些方式来将其检测出来，再例如在数据挖掘领域中，那异常检测的应用就更广泛了，比如信用卡盗刷，超大金额支出等等。通常情况下，在我们阅读论文的过程中，异常检测(Anomaly Detection)也被叫做，Novelty Detection，Outlier Detection，Forgery Detection，Out-of-distribution Detection。在阅读论文的情况，这些名词也有轻微的区别，以计算机视觉为例，如下图所示。

在计算机视觉的基本任务——图像分类中，单分类与多分类问题，将几种概念的细微区别基本阐述清楚了。Anomaly Detection指在不属于该分类的数据集中，而Novelty是检测可能属于该分类但却没见过(Unseen)也就是Novel的数据集，而OOD(out-of-distribution)则是多分类中不同目标的分布，这些任务在接下来的论文中，也经常有人进行相应的研究。

   三、异常检测相关工作与方向

首先根据查阅异常检测方向综述的文章，我将基于深度学习的异常检测应用方向论文，按照主要的逻辑结构列举在了下面，我相信这可以更加方便地向你展示异常检测方向你应该怎样去研究你的论文。

1. DAD研究的主要元素

(1) 异常数据集

  • 点集

  • 连续集

  • 团队集

(2) 异常检测模型

  • 无监督学习、AutoEncoder、GAN、矩阵因子分解

  • 半监督学习、强化学习

  • Hybrid(混种)、特征提取+传统算法

  • 单分类神经网络

(3) 异常检测应用

  • 诈骗检测

  • 网络侵入检测

  • 医学异常检测

  • 传感器网络异常检测

  • 视屏监督

  • 物联网大数据异常检测

  • 日志异常检测

  • 工业危害检测

2. 异常检测论文分类

下面也是我根据参考文献，把异常检测论文分成几个当前研究方向，相当于列出了一个目录在这里，可供之后方便查看，关于论文分类的一些概念，我会在下面的介绍中详细提及。

(1) 数据的连续性

(2) 数据标签的可用性

  • 监督学习Supervised Learning

  • 半监督学习Semi-supervised Learning

  • 无监督学习Unsupervised Learning

(3) 基于训练对象的模型

  • 深度混种模型Deep Hybrid Model(DHM)

  • 单分类神经网络One-Class Neural Networks(OC-NN)

(4) 数据异常类型

  • 点集Point

  • 连续集Contextual

  • 团队集Collective or Group

(5) 异常检测输出类型

  • 异常分数Anomaly Score

  • 标签Lable

(6) 异常检测应用

有将近十种异常检测相关的应用，由于目前对该部分研究较浅，所以之后会考虑单独写篇文章来总结异常检测方面的应用型论文。

   四、原始数据的连续性Nature of Input Data

在DAD问题中选择怎样的网络结构很大部分取自于原始数据(raw/input data)的类型，原始数据在广义上我们可以分为连续型(Sequential)与非连续型(Non-sequential)，如何选择相应的模型，我列举在下表中。

原始数据类型

举例

DAD模型选择




连续型Sequential

视屏，DNA序列，自然语言文本

CNN，RNN，LSTM

非连续型Non-sequential

图片，传感器

CNN，AE及其变种

DAD在未降维的高维原始数据中表现优异，成功提取大规模数据的关系，通常情况下，网络越深，提取效果越好，这个部分感兴趣的话可以参考下面这篇文章。

  • Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. nature, 521(7553):436, 2015.

   五、数据标签的可用性Availability of Labels

数据标签是非常重要的事情，标签代表着正常(normal)数据或是未见过(unseen/novel)的数据，对于标签内容的使用同样是现在异常检测方向论文重点考虑的事情。异常检测的模型也可以根据数据标签的内容广义的分为三类，监督，半监督和无监督。

1. 监督Supervised DAD

基于监督学习的DAD文章，整理了两篇医学方向的，由于监督学习对于标签内容的依赖度过重，所以他对于异常检测的问题并不是那么合适，所以它并不如半监督和无监督应用地那么广泛。

  • Raghavendra Chalapathy, Ehsan Zare Borzeshi, and Massimo Piccardi. An investigation of recurrent neural architectures for drug name recognition. arXiv preprint arXiv:1609.07585, 2016a.

  • Raghavendra Chalapathy, Ehsan Zare Borzeshi, and Massimo Piccardi. Bidirectional lstm-crf for clinical concept extraction. arXiv preprint arXiv:1611.08373, 2016b.

2. 半监督Semi-supervised DAD

由于正常数据集比异常数据集更好获得，所以半监督学习DAD方法被非常广泛的使用，拥有了足够的数据集，我们能更好地标出正常数据，异常数据，新数据的界限，半监督学习模型列举三篇论文。

  • Drausin Wulsin, Justin Blanco, Ram Mani, and Brian Litt. Semi-supervised anomaly detection for eeg waveforms using deep belief nets. In Machine Learning and Applications (ICMLA), 2010 Ninth International Conference on, pages 436–441. IEEE, 2010.

  • Mutahir Nadeem, Ochaun Marshall, Sarbjit Singh, Xing Fang, and Xiaohong Yuan. Semi-supervised deep neural network for network intrusion detection. 2016.

  • Hongchao Song, Zhuqing Jiang, Aidong Men, and Bo Yang. A hybrid semi-supervised anomaly detection model for high-dimensional data. Computational intelligence and neuroscience, 2017.

3. 无监督Unsupervised DAD

传统机器学习算法其实我感觉更倾向于直接从数据集中让机器去学习一些东西，然后直接用参数的方式表示出来，异常检测问题同样我们也用自动标签的方式去检测是否异常，因为有时候可能数据难以获取。自动解码器是无监督DAD的核心，所以这里深度学习的一些神经网络大有可为，例如RNN，LSTM等等。我们这里只列举了一种采用变种半监督学习方法的论文，应用于异常数据降维，表现效果超越很多传统降维算法，如PCA，Isolation等等。

  • Aaron Tuor, Samuel Kaplan, Brian Hutchinson, Nicole Nichols, and Sean Robinson. Deep learning for unsupervised insider threat detection in structured cybersecurity data streams. arXiv preprint arXiv:1710.00811, 2017.

   六、基于训练对象的模型

按照训练对象的区别，我们把训练模型单独划分为两类，变种模型与单分类神经网络。

1. 深度变种模型Deep Hybrid Models(DHM)

  • Jerone TA Andrews, Edward J Morton, and Lewis D Griffin. Detecting anomalous data using auto-encoders. International Journal of Machine Learning and Computing, 6(1):21, 2016a.

  • Tolga Ergen, Ali Hassan Mirza, and Suleyman Serdar Kozat. Unsupervised and semi-supervised anomaly detection with lstm neural networks. arXiv preprint arXiv:1710.09207, 2017.

2. 单分类神经网络One-Class Neural Networks(OC-NN)

  • Raghavendra Chalapathy, Aditya Krishna Menon, and Sanjay Chawla. Anomaly detection using one-class neural networks. arXiv preprint arXiv:1802.06360, 2018a.


   七、数据异常类型

1. 点集Point

举信用卡盗刷的例子，点集异常就是指单笔交易大金额支出，比如你都花1块2块的钱，突然有一天消费了1k，那可能就出现了异常情况，但这个方向好像没有人单独发过文章。

2. 连续集Contextual or Conditional

连续集就是指上下文相关的连续数据，某一个中间数据出现了异常情况，可能引起了梯度消失爆炸等等问题。

  • Xiuyao Song, Mingxi Wu, Christopher Jermaine, and Sanjay Ranka. Conditional anomaly detection. IEEE Transactions on Knowledge and Data Engineering, 19(5):631–645, 2007.

3. 团队集Collective or Group

还是信用卡盗刷的例子，如果某天你的信用卡突然短时间内不停地消费50元，那机器可能会发现，这些团队数据集的消费出现了异常，这种情况我们也在其他场合经常遇到。

  • Raghavendra Chalapathy, Edward Toth, and Sanjay Chawla. Group anomaly detection using deep generative models. arXiv preprint arXiv:1804.04876, 2018b.

  • Lo¨ıc Bontemps, James McDermott, Nhien-An Le-Khac, et al. Collective anomaly detection based on long short-term memory recurrent neural networks. In International Conference on Future Data and Security Engineering, pages 141–152. Springer, 2016.

  • Daniel B Araya, Katarina Grolinger, Hany F ElYamany, Miriam AM Capretz, and G Bitsuamlak. Collective contextual anomaly detection framework for smart buildings. In Neural Networks (IJCNN), 2016 International Joint Conference on, pages 511–518. IEEE, 2016.

  • Naifan Zhuang, Tuoerhongjiang Yusufu, Jun Ye, and Kien A Hua. Group activity recognition with differential recurrent convolutional neural networks. In Automatic Face & Gesture Recognition (FG 2017), 2017 12th IEEE International Conference on, pages 526–531. IEEE, 2017.

   八、idea新颖的论文

这里我再给大家推荐8篇idea比较新颖的论文，可供大家阅读与交流。

[1] Liu W, Luo W, Lian D, et al. Future frame prediction for anomaly detection–a new baseline[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6536-6545.

[2] Gong D, Liu L, Le V, et al. Memorizing normality to detect anomaly: Memory-augmented deep autoencoder for unsupervised anomaly detection[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 1705-1714.

[3] Park H, Noh J, Ham B. Learning Memory-guided Normality for Anomaly Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 14372-14381.

[4] Zhao Y, Deng B, Shen C, et al. Spatio-temporal autoencoder for video anomaly detection[C]//Proceedings of the 25th ACM international conference on Multimedia. 2017: 1933-1941.

[5] Ionescu R T, Khan F S, Georgescu M I, et al. Object-centric auto-encoders and dummy anomalies for abnormal event detection in video[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 7842-7851.

[6] Liu W, Luo W, Li Z, et al. Margin Learning Embedded Prediction for Video Anomaly Detection with A Few Anomalies[C]//IJCAI. 2019: 3023-3030.

[7] Sultani W, Chen C, Shah M. Real-world anomaly detection in surveillance videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6479-6488.

[8] Luo W, Liu W, Gao S. A revisit of sparse coding based anomaly detection in stacked rnn framework[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 341-349.

—完—

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

【论文分享】深度异常检测综述（Deep Learning for Anomaly Detection: A Review）-中
vector的博客
08-24 3165
在上一次的论文分享中????https://blog.csdn.net/qq_39328436/article/details/118582785我们介绍了深度异常检测以及其复杂性与挑战。在这个一次的论文分享中，我要介绍“深度异常检测”的几个类别，也可以说是几个重点的研究方向。一共涉及三个大类以及11个小类，本次会对这11个类别展开介绍，重点介绍特征，原理，研究路线，优点，缺点，以及他们所应对的挑战。需要提前说明的是，本次并不对每个方法的进行详细的逻辑推导和证明（毕竟是综述性质的论文，主要的目的还是从整体上
【论文分享】深度异常检测综述（Deep Learning for Anomaly Detection: A Review）-上
vector的博客
07-12 3348
第一次分享论文，之前也没有任何关于深度学习或异常检测的学习背景，所以读起来非常吃力，本篇文章是对论文 Deep Learning for Anomaly Detection: A Review 的精读，基本是逐句看下来的，对不了解的地方进行了补充学习，如果你也和我一样，是深度学习或异常检测的小白，那这篇文章可能会对你有所帮助哦，一起看下去吧~ 论文简介 发表信息 论文链接：https://dl.acm.org/doi/10.1145/3439950 ACM Computing Surveys, Vo
深度学习(13): Anomaly Detection(异常侦测)
JJJJJJames的博客
01-20 896
Anomaly detection(异常侦测) 让机器可以知道我不知道这件事情 Problem Formulation 定义一个函数侦测输入的数据集x和训练集的相似度 不一定detect不好的东西，只是找和训练资料不一样的东西。 Different approaches use different ways to determine the similarity What is Anomaly？ 取决于你提供给机器的训练资料 Applications Fraud Detection trainin
全网最全公开异常检测数据集
最新发布
qq_45384162的博客
09-20 1237
本文介绍了异常检测的公开数据集对每个数据集进行简要介绍，网址为介绍或者下载网址。
异常检测综述（Anomaly Detection: A Survey）
热门推荐
一智哇的博客
04-28 1万+
异常检测；综述
异常检测概述
Weberyoung的博客
01-12 226
异常检测概述重点笔记异常检测应用领域传统方法集成方法机器学习的分类方法异常检测库PyOD 异常检测应用领域 故障检测 物联网异常检测 欺诈检测 工业异常检测 时间序列异常检测 Key 视频异常检测 日志异常检测 医疗日常检测 网络入侵检测 基本都是无监督学习，不需要y。 传统方法 基于统计学 假设数据服从某个分布，比如高斯分布，然后根据样本，运用极大似然估计求出分布的参数，然后把低概率区域的样本认为是异常值 PCA主成分分析方法 基于相似度的方法 基于cluster簇的方法，如DBSCAN聚类算法
异常检测概述（anomaly detection）
sinat_28375239的博客
08-27 565
异常检测（anomaly detection） 对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。 通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 有三大类异常检测方法。在假设数据集中大多数实例都是正常的前提下，无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集，并涉及到训练分类器（与许多其他的统计分类问题的关键区别是异常检测
高光谱异常检测综述Hyperspectral_Anomaly_Detection_A_Survey及翻译
12-02
2021年的高光谱异常检测综述可能涵盖了最新的研究趋势和技术发展，包括新型的异常检测算法、大数据处理技术、以及结合多源数据的联合检测策略。翻译版则为中文读者提供了便利，使国内研究者能够更好地理解国际上的...
Deep Learning for Anomaly Detection A Review.pdf
07-12
这种文章对深度异常检测的研究进行综述，提出了一个全面的分类体系，涵盖了方法论中3个高级类别和11个细粒度类别的进展。本文回顾了它们的核心直觉、目标函数、潜在假设、优点以及缺点，并讨论了它们是如何应对前面...
anomaly detection综述
08-31
- *2* *3* [异常检测综述（Anomaly Detection: A Survey）](https://blog.csdn.net/weixin_43883602/article/details/124472597)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...
AMAD anomaly detection data-数据集
03-28
Alibaba user behavior data from Taobao's goods recommendation system for anomaly detection.
异常检测论文综述阅读笔记《DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY》
骊山道童的博客
11-02 398
DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY 文章阅读笔记的帖子：https://blog.csdn.net/lytxiaohou/article/details/101512966 第一链接. https://github.com/kc-ml2/journal-lub/blob/ceaa45c5822f55d8060afdab907280d3e47b9288/past/2019-06-12-anomaly-detection.md 第二链接. https://
什么是异常检测？
weixin_45064713的博客
01-12 492
什么是异常检测 异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。 异常的类别 点异常：指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标； 上下文异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易； 群体异常：指的是在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，例如社交网络中虚假账号形成的集合作为群体
异常检测概念及方法简介
qq_37337494的博客
05-10 3810
chapter01 异常检测概述 一、异常检测的概念 异常检测（Outlier Detection）：识别与正常数据不同的数据，与预期行为差异大的数据。 应用场景如：信用卡欺诈、工业生产异常、网络流量异常等，针对的是少数的事件。 1.1 异常的类别： 点异常（point anomaly）:少数的个体实例是异常的，大多数个体实例是正常的，例如健康的人与病人的健康指标。 条件异常（conditional anomaly）：又称上下文异常，指在特定情境下个体实例是异常的，在其他情境下个体实..
异常检测（Anomaly Detection）
Flare_J 的博客
03-08 8879
异常检测（Anomaly Detection）1. 异常检测的定义2. 异常检测的分类2.1 按照应用目标数据分类2.2 按照异常类型分类2.3 按照数据标签可用性分类3. 异常检测的使用 1. 异常检测的定义 异常检测，是一种用于识别不符合预期行为的异常模式的技术，称为异常值。通常为无监督学习问题，其中先验未知异常样本，并且假定大多数训练数据集由 “ 正常 ” 数据组成。 通常，异常检测也称为 Novelty Detection 或 Outlier Detection，Forgery Detection
机器学习笔记——异常检测（anomaly detection）
shanwenkang的博客
01-01 1693
异常检测 当我们需要让一个系统从许多未标注的数据中学习到某些正常的特征，从而能够诊断出非正常的数据，我们把这个过程叫做异常检测 我们要做的就是对于给定的一组特征值，我们输出一个概率，如果这个概率值小于某个临界值，代表数据异常 算法 我们可以采用高斯函数来拟合这个概率值，对于某个特征，我们计算出它的均值与方差，之后就可以得到一个高斯概率分布，然后我们将所有特征的高斯分布函数相乘作为我...
异常检测
yjinyyzyq的博客
03-07 220
Author Yin Haibo ----------------------------------------------------------------------------------------------------------------------------- 描述定量数据的数值法： 帮助确定相对频率分布中心位置的度量：中心趋势度量 均值 中位数 众数 围绕...
异常检测方法
weixin_37801695的博客
12-04 1万+
异常检测可谓是一个博大精深的研究方向，在故障检测、欺诈检测、入侵检测领域有着广泛应用。本文只是结合各网络资源对其基础进行简单介绍，涉及到具体的领域和实际应用，还需进行深入研究和尝试。什么是异常检测异常检测是检测不符合期望的数据、行为，在实际应用中包括去噪、网络入侵检测、欺诈检测、设备故障检测、机会识别、风险识别、特殊群体识别、患病诊断、视频监测等。异常检测通过对输入数据进行分析，检测异常状态。输入数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值