[文献阅读]DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY

摘要

1.基于深度学习的异常检测的研究方法进行结构化和全面的概述
2.回顾这些方法在各个领域这个中的应用情况，并评估他们的有效性。
3.根据基本假设和采用的方法将最先进的深度异常检测技术分为不同的类别。
4.每个类别介绍了基本的异常检测与变体，提出关键假设，以区分正常和异常行文，对每个变体，提出有点和限制条件，并且讨论每个技术在真实应用中的计算复杂度。
5.概述深度异常检测技术研究时未解决的和面临的问题

1. 介绍

1.对深度异常检测(DAD)的研究方法进行结构化和全面的综述。
2.讨论在各种领域中采用深度异常检测方法并评估其有效性。

2. 什么是异常?

异常：偏差或异常值。他们的位置远离大部分的数据点，因此被视为异常。
出现这种情况的原因：恶意行为，系统故障，故意欺诈

3. 什么是新颖性检测?

新颖性检测是堆数据中一种新颖或未观察到的模式的识别，不被视为异常数据点，而是应用与常规数据模型。
使用决策阈值分数为先前未见的数据点分配novelty score，明显偏离决策值的点可以被认为是异常或者离群值。
用于异常检测的技术通常用于新颖性检测。

4 动机和挑战 深度异常检测（DAD）技术

1.传统算法无法捕获复杂的数据结构，因此在图像和序列数据集上检测异常值的性能不好。
2.数据量增加，传统方法不可能扩展到如此大的规模以赵建数据。
3.深度异常检测技术可以学习数据中的分级分区数据，这种自动特征学习功能消除了该领域专家手动操作的需求，因此提倡解决端对端问题，即在文本与语音识别领域采用原始数据。
4.异常与否的界定通常无法在几个数据域中精确定义， 并且还在不断发展。对于常规与深度学习算法而言，缺乏明确定义的代表性正常值边界仍是挑战。

5.相关工作

尽管深度学习方法在许多机器学习方法取得了进步，深度学习方法相对于异常检测还是相对不足的。
之前在应用DAD技术方面存在一些分析，但仍缺乏用于离群值检测的深度学习体系结构的比较分析。
本综述希望能弥合这一差距，并为希望利用深度学习进行异常检测的研究人员和算法工程师提供全面的参考。

６.我们的贡献

我们遵循（Chandola等[2007]）的调查方法进行深度异常检测（DAD）。 我们的调查提供了DAD技术研究和应用的详细结构化概述。 我们将主要贡献总结如下：
1.这篇综述旨在提供DAD技术的最新研究的全面概述，并介绍这些技术的几种实际应用。
2.今年来已经开发了几种新的基于深度学习的异常检测技术，这些技术大大降低了计算需求。这篇文章的目的是将他们分类为一个有组织的概述，以便更好的理解。
基于训练目标的选择，我们引入了另外两个子类的混合模型和一类神经网络技术，对每个类别，我们都讨论了为了获得最佳性能而采用的假设和技术，并且提出了挑战，优点和缺点，并概述了DAD方法的计算复杂性。

7. 组织

本文以该结构进行组织。
在第八节中，我们定义了确定问题标准的各个方面，并强调了与异常检测相关的丰富性与复杂性，我们定义并介绍了两种类型的模型，上下文异常和集体异常（组异常）。
第九节中，我们简要描述了机遇深度学习的异常检测已经应用到的不同领域，在随后的部分中，我们将基于神的学习技术所属的研究领域进行分类，
第十节中，我们将基于深度学习技术的研究领域对他们进行分类，基于所采用的培训目标和标签的可用性，可以将基于深度学习的异常检测技术分为有监督的，无监督的，混合的，以及one-class 神经网络，对于每种技术，我们讨论了他们在训练与测试阶段的计算复杂度。
在第十二节中我们讨论各种现有的技术的局限性和相对性能。
第十三节为结论。

8. 基于深度学习进行异常检测问题的不同方面

8.1 基于输入数据的性质

深度异常检测方法中对深度神经网络体系结构的选择只要取决于输入数据的性质，输入数据可以大致分为连续的与非连续的，另外，根据特征的数量可以将输入数据进一步划分为低维与高维的数据。
DAD技术已经被用来在高维原始数据中学习复杂的层次特征关系，DAD的使用受输入数据维数的驱动，更深的网络可以在高维数据上产生更好的性能。

8.2 基于标签的可用性

标签可以指示所选的数据实例是正常数据还是异常数据，异常是罕见的实体，因此获取标签具有挑战性，此外，异常行为可能会随时间变化，例如异常的性质已经发生了变化。
根据标签的可用性，深度异常检测的（DAD）模型可以分为三类：
1）有监督的深度异常检测 2）半监督的深度异常检测 3）无监督的深度异常检测

8.2.1有监督的异常检测

有监督的异常检测是使用正常和异常数据实例的标签训练深度监督的二分类或多分类分类器。例如，有监督的DAD模型被构造为多分类器，可以用与检测稀有品牌，禁止被提及的药物名称或欺诈性医疗保健交易等。
尽管有监督的DAD方法有所提高，但由于缺乏标记训练样本的可用性，这些方法并不像半监督与无监督方法那样受欢迎。此外，由于正类实例的总数总是远远大于负类实例的总数，使用异常检测器的深度监督分类器性能欠佳，因此，本综述中不考虑分析有监督的DAD方法。

8.2.2 半监督的异常检测

由于正常实例的标签比异常实例的标签要更好获取，因此半监督的DAD技术得到了更广泛的应用， 这项技术利用单个的标签来分离离群值。异常检测中一种常见的方法是在无异常的数据样本上使用深度自动编码器以半监督的方式训练它们，有了足够的训练样本，正常类别的自动编码器对于普通实例将产生较低的重构误差。

8.2.3 无监督的异常检测

无监督的异常检测技术仅基于数据实例的固有属性来检测异常值，无监督DAD技术用于未标记数据样本的自动标记，因为标记数据很难获得，无监督模型的变体表现由于传统方法，如主要成分分析，支持向量机和孤立森林，这些技术被应用在网络安全与健康领域。无监督DAD模型的核心是自动编码器，这个模型假定正常实例所占的比例高于异常数据所占的比例，这将导致较高的误报率，此外还有其他的无监督算法，如受限的玻尔兹曼机，深度波尔兹曼机，深度置信网络，广义降噪自动编码器，循环神经网络，用于检测异常值的长短期记忆网络。

8.3 基于训练模型的类型

8.3.1 深度混合模型

异常检测的深度混合模型主使用深度神经网络，将自动编码器用作特征提取器，将在自动编码器的隐藏表示中学习到的特征输入到传统的异常检测算法中。

该图说明了用于异常检测的深度混合模型架构，继从大型数据集上预训练的模型中获得丰富的代表特征的转移学习获得成功之后，混合模型也将经过预训练的转移学习模型用作特征提取器，并获得了巨大的成功。
Ergen等人提出了一种混合模型的变体，考虑了特征提取器与OS-SVM（SVDD）目标的联合训练，以最大化检测性能。这些混合方法的一个显著缺点是缺乏为异常检测定制的可训练目标，因此这些模型无法提取丰富的差异特征来检测异常值。为了克服这一限制，引入了用于异常检测的定制目标，例如Deep one-class，classification或One class neural networks。

8.3.2 One-Class Neural Networks (OC-NN)

OC-NN 该方法的灵感来自基于内核的单分类方法，该分类结合了深度网络提取逐渐丰富的数据表示的能力，以及创建围绕正常数据的紧密包络的一类目标。
OC-NN的优点：隐层中的数据表示由OC-NN目驱动，因此可以针对异常检测定制，这与哪些使用混合方法，即使用自动编码器学习深层特征，然后将特征反馈回单独的异常检测的方法中，如one-class SVM (OC-SVM).
关于训练与评估一类神经网络的详细信息，参阅10.4节，OC-NN的另一种变体是Deep Support Vector Data