DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY(翻译)

异常检测的深度学习研究综述
原文： arXiv:1901.03407
摘要
异常检测是一个重要的问题，在不同的研究领域和应用领域都得到了很好的研究。本文的研究目的有两个：首先，我们对基于深度学习的异常检测的研究方法进行了系统而全面的综述。此外，我们回顾了这些方法在不同应用领域中的应用，并评估了它们的有效性。我们根据所采用的基本假设和方法，将最先进的深度异常检测研究技术分为不同的类别。在每个类别中，我们概述了基本的异常检测技术及其变体，并提出了关键假设，以区分正常和异常行为。此外，对于每一个类别，我们也提出了优点和局限性，并讨论了在实际应用领域的技术的计算复杂性。最后，我们概述了研究中的开放性问题和采用深度异常检测技术解决实际问题时面临的挑战。
关键词：异常、离群、新颖、深度学习
1简介
在分析真实世界的数据集时，一个共同的需求是确定哪些实例与所有其他实例不同。此类实例称为异常，异常检测（也称为异常值检测）的目标是以数据驱动的方式确定所有此类实例（Chandola等人[2007]）。在1980年，由于一个新的异常现象被定义为一个新的异常现象，而这个异常现象是由另一个异常现象引起的。近年来，在机器学习的广阔领域，深度神经网络得到了迅速发展，在各个应用领域取得了前所未有的成果。深度学习是机器学习的一个子集，它通过学习将数据表示为神经网络层中概念的嵌套层次结构，从而获得良好的性能和灵活性。如图1所示，随着数据规模的增加，深度学习优于传统的机器学习。近年来，基于深度学习的异常检测算法越来越流行，并已应用于图2所示的各种任务；研究表明，深度学习完全超越了传统方法（Javaid等人[2016]，Peng和Marculescu[2015]）。本文的研究目的有两个方面：首先，我们对深部异常探测的研究方法进行了系统而全面的综述。此外，我们还讨论了不同应用领域中DAD方法的采用，并评估了它们的有效性。


2什么是异常？
在数据挖掘和统计文献中，异常也被称为异常、偏差或异常值（Aggarwal[2013]）。如图3所示，N1和N2是由大多数观测值组成的区域，因此被视为正常数据实例区域，而区域O3和数据点O1和O2是少数数据点，这些数据点距离大部分数据点较远，因此被视为异常。产生原因有几种，如恶意行为、系统故障、故意欺诈等。这些异常现象揭示了有关数据的令人兴奋的见解，并且经常传递有关数据的有价值的信息。因此，异常检测被认为是各种决策系统中必不可少的一步。

3什么是新颖？
新颖性检测是对数据中新颖（新）或未观察到的模式的识别（Miljkovic[2010]）。所检测到的新特征不被视为异常数据点，而是被应用到常规数据模型中。可以使用决策阈值得分为这些先前未看到的数据点分配新颖性得分（Pimentel等人[2014]）。显著偏离该决策阈值的点可被视为异常或异常值。例如，在图4中，普通老虎中（白虎）的形象可能被认为是新奇的，而（马、豹、狮子和猎豹）的形象则被认为是反常的。用于异常检测的技术通常用于新颖性检测，反之亦然。

4动机和挑战：深度异常检测（DAD）技术
•传统算法检测异常值的性能在图像（如医学图像）和序列数据集上是次优的，因为它无法捕获数据中的复杂结构。
•需要大规模异常检测：随着数据量的增加（比如说到千兆字节），传统方法几乎不可能扩展到如此大规模的数据来发现异常值。
•深度异常检测（DAD）技术从数据中学习分层鉴别特征。这种自动特征学习功能消除了领域专家开发手动特征的需要，因此提倡在文本和语音识别等领域端到端地获取原始输入数据来解决这一问题。
•正常和异常（错误）行为之间的界限通常在几个数据域中没有精确定义，并且在不断演变。由于缺乏良好定义的典型正态边界，传统算法和基于深度学习的算法都面临挑战。
5相关工作
尽管深度学习方法在许多机器学习问题上取得了长足的进步，但是用于异常检测的深度学习方法却相对匮乏。Adewumi和Akinyelu[2017]对基于深度学习的欺诈检测方法进行了全面调查。Kwon等人[2017]综述了用于网络入侵检测的深度异常检测（DAD）技术。Litjens等人[2017]对DAD技术在医学领域的应用进行了广泛综述。Mohammadi等人[2017]介绍了物联网（IoT）和大数据异常检测的DAD技术概述。Ball等人[2017]回顾了传感器网络异常检测。Kiran等人[2018]介绍了基于深度学习的视频异常检测方法以及各种分类。虽然有一些关于应用DAD技术的评论，但是对于用于异常点检测的深度学习体系结构的比较分析还很缺乏。例如，大量关于异常检测的研究是使用deep自动编码器进行的，但是对于各种最适合给定数据集和应用领域的deep体系结构缺乏全面的调查。我们希望这项调查能够弥补这一差距，并为有志于利用深度学习进行异常检测的研究人员和工程师提供全面的参考。表1显示了我们调查所涵盖的一系列研究方法和应用领域。

6我们的贡献

我们遵循（Chandola等人[2007]）的调查方法进行深度异常探测（DAD）。我们的调查提供了一个详细和结构化的概述研究和应用的DAD技术。我们的主要贡献总结如下：
•关于DAD技术的现有调查大多集中在特定应用领域或特定研究领域（Kiran等人[2018]，Mohammadi等人[2017]，Litjens等人[2017]，Kwon等人[2017]，Adewumi和Akinyelu[2017]，Ball等人[2017]）。本文综述了DAD技术的最新研究进展以及这些技术在实际中的应用。
•近年来，开发了几种新的基于深度学习的异常检测技术，大大降低了计算要求。本文的目的是调查这些技术，并将它们分类成一个有组织的模式，以便更好地理解。基于训练目标的选择，我们引入了两个以上的子类混合模型（Erfani等人[2016a]）和一类神经网络技术（Chalapathy等人[2018a]），如图5所示。对于每一类，我们都讨论了最佳性能所采用的假设和技术。此外，在每个类别中，我们也提出了挑战、优势和劣势，并概述了DAD方法的计算复杂性。

7组织
本章按图5所示的结构组织。在第8节中，我们确定了确定问题形式的各个方面，并强调了与异常检测相关的丰富性和复杂性。我们介绍并定义了两类模型：上下文异常和集体异常或群体异常。在第9节中，我们简要描述了基于深度学习的异常检测的不同应用领域。在接下来的章节中，我们将根据所属的研究领域对基于深度学习的技术进行分类。根据所采用的训练目标和标签的可用性，基于深度学习的异常检测技术可分为有监督（第10.1节）、无监督（第10.5节）、混合（第10.3节）和一类神经网络（第10.4节）。对于每一类技术，我们还讨论了它们在训练和测试阶段的计算复杂性。在第8.4节中，我们讨论了基于点、上下文和集体（群体）深度学习的异常检测技术。我们将在第12节中讨论各种现有技术的局限性和相对性能。第13节载有结束语。
8基于深度学习的异常检测的不同方面。
本节确定并讨论基于深度学习的异常检测的不同方面。
8.1输入数据的性质
深度异常检测方法中深度神经网络结构的选择主要取决于输入数据的性质。输入数据可大致分为连续数据（如语音、文本、音乐、时间序列、蛋白质序列）或非连续数据（如图像、其他数据）。表2说明了异常检测中使用的输入数据和深度模型体系结构的性质。另外，根据特征（或属性）的数量，输入数据可以进一步分为低维或高维数据。DAD技术已经用于学习高维原始输入数据中的复杂层次特征关系（LeCun等人[2015]）。DAD技术中使用的层数是由输入数据维度决定的，更深层次的网络可以在高维数据上产生更好的性能。稍后，在第10节中，我们将深入讨论用于异常点检测的各种模型。

8.2基于标签的可用性
标签指示所选数据实例是正常的还是异常值。异常是罕见的实体，因此很难获得它们的标签。此外，异常行为可能会随着时间的推移而改变，例如，异常的性质发生了重大变化，马鲁奇水处理厂长期未注意到异常，导致1.5亿升未经处理的污水泄漏到当地水道（Ramotsoela等人[2018]）。深度异常检测（DAD）模型可以根据标签的可用程度大致分为三类。（1） 监督深度异常检测。（2） 半监督深度异常检测。（3） 无监督深部异常检测。
8.2.1有监督的深部异常检测
有监督的深度异常检测包括训练深度监督的二进制或多类分类器，使用正常和异常数据实例的标签。例如，监督的DAD模型，作为检测稀有品牌、禁止药品名称提及和欺诈性医疗交易的多类分类器辅助工具（Chalapathy等人[2016a，b]）。尽管有监督的DAD方法的性能有所提高，但是由于缺乏有效的训练样本，这些方法不如半监督或无监督的方法流行。此外，由于类不平衡（正类实例的总数远远大于负类数据的总数），使用异常检测器的深度监督分类器的性能是次优的。因此，在本次调查中，我们不考虑对监督性DAD方法的回顾。
8.2.2半监督深度异常检测
正常实例的标签比异常更容易获得，因此半监督DAD技术被更广泛地采用，这些技术利用现有的单个（通常为正类）标签来分离异常值。在异常检测中使用深度自动编码器的一种常见方法是在没有异常的数据样本上以半监督的方式训练它们。有了足够的训练样本，正常类的自动编码器在正常情况下会产生较低的重建错误，而不是异常事件（Wulsin等人[2010]，Nadeem等人[2016]，Song等人[2017]）。我们将在第10.2节中详细回顾这些方法。

8.2.3无监督深部异常探测
无监督深度异常检测技术仅基于数据实例的内在特性来检测异常值。无监督的DAD技术用于自动标记未标记的数据样本，因为标记的数据很难获得（Patterson和Gibson[2017]）。无监督DAD模型的变体（Tuor等人[2017]）在健康和网络安全等应用领域的表现优于传统方法，如主成分分析（PCA）（Wold等人[1987]）、支持向量机（SVM）Cortes和Vapnik[1995]以及隔离林（Liu等人[2008]）。自动编码器是所有无监督爸爸模型的核心。这些模型假设正常实例的发生率高于异常数据实例的失败率，这将导致较高的假阳性率。此外，无监督学习算法，如受限玻耳兹曼机（RBM）（Sutskever等人[2009]）、深层玻耳兹曼机（DBM）、深层信念网络（DBN）（Salakhutdinov和Larochelle[2010]）、广义去噪自动编码器（Vincent等人[2008]），第11.7节详细讨论了用于检测异常值的递归神经网络（RNN）（Rodriguez等人[1999]）长-短期记忆网络（Lample等人[2016]）。
8.3基于培训目标
本文介绍了两类新的基于训练目标的深度异常检测（DAD）技术：1）深度混合模型（DHM）。2） 一类神经网络。
8.3.1深混合模型（DHM）
用于异常检测的深度混合模型使用深度神经网络（主要是自动编码器）作为特征提取器，在自动编码器的隐藏表示中学习的特征被输入到传统的异常检测算法中，例如单类SVM（OC-SVM）来检测异常值（Andrews等人[2016a]）。图7说明了用于异常检测的深度混合模型体系结构。继迁移学习成功地从大数据集上预先训练的模型中获得丰富的代表性特征之后，混合模型也成功地将这些预先训练的迁移学习模型用作特征提取器（Pan等人[2010]）。Ergen等人[2017]提出了一种混合模型的变体，该模型考虑了特征抽取器与OC-SVM（或SVDD）目标的联合训练，以最大限度地提高检测性能。这些混合方法的一个显著缺点是缺乏为异常检测定制的可训练目标，因此这些模型无法提取丰富的差分特征来检测异常值。为了克服这一限制，引入了定制的异常检测目标，如深一类分类（Ruff等人[2018a]）和一类神经网络（Chalapathy等人[2018a]）。
8.3.2一类神经网络（OC-NN）
单类神经网络（OC-NN）Chalapathy等人[2018a]的方法受到基于核的单类分类的启发，这种分类结合了深层网络提取逐渐丰富的数据表示的能力和在正常数据周围创建紧密包络的单类目标。OC-NN方法在以下关键方面取得了突破：隐藏层中的数据表示是由OC-NN目标驱动的，因此是为异常检测定制的。这与其他方法不同，后者使用一种混合方法，即使用自动编码器学习深度特征，然后将特征输入一种单独的异常检测方法，如单类支持向量机（OC-SVM）。第10.4节讨论了一类神经网络的训练和评估细节。一类神经网络体系结构的另一个变体深层支持向量数据描述（Deep-SVDD）（Ruff等人[2018a]）训练深层神经网络，通过将正常数据实例紧密映射到球体中心来提取共同的变异因素，在MNIST（LeCun等人[2010]）和CIFAR-10（Krizhevsky和Hinton[2009]）数据集上显示出性能改进。

8.4异常类型
异常大致可分为三类：点异常、背景异常和集合异常。深度异常检测（DAD）方法已被证明能成功地检测所有三种类型的异常。

8.4.1点异常
文献中的大部分工作集中在点异常上。点异常通常表示随机发生的不规则或偏差，可能没有特定的解释。例如，在图10中，摩纳哥餐厅记录的高支出信用卡交易似乎是一个点异常，因为它明显偏离了其他交易。在第9节中回顾了考虑点异常检测的几个实际应用。

8.4.2上下文异常检测
上下文异常也称为条件异常，是指在某些特定上下文中可能被视为异常的数据实例（Song等人[2007]）。上下文异常是通过同时考虑上下文和行为特征来识别的。通常使用的上下文特征是时间和空间。虽然行为特征可能是一种花钱的模式，但系统日志事件的发生或任何用于描述正常行为的特征。图9a说明了一个上下文异常的例子，考虑到6月前急剧下降的温度数据；该值并不表示在这段时间内发现的正常值。图9b说明了在给定上下文中（例如，事件53被检测为脱离上下文）使用基于深长短时记忆（LSTM）（Hochreiter和Schmidhuber[1997]）的模型来识别异常系统日志事件（Du等人[2017]）。

8.4.3集体或群体异常检测。
个别数据点的异常集合被称为集体异常或群体异常，其中孤立的每个个别点作为正常数据实例出现，而在群体中观察到的则表现出不寻常的特征。例如，考虑一个欺诈性信用卡交易的例子，在图10所示的日志数据中，如果发生了一个“MISC”的交易，它可能看起来并不异常。下面这组价值75美元的交易显然是集体或集体异常的候选对象。群异常检测（GAD），强调不规则群分布（例如，使用自动编码器模型的变体检测图像像素的不规则混合（Chalapathy等人[2018b]，Bontemps等人[2016]，Araya等人[2016]，Zhuang等人[2017]）。
8.5 DAD技术输出
异常检测方法的一个关键方面是异常检测的方式。通常，异常检测方法产生的输出是异常分数或二进制标签。
8.5.1异常评分：
异常得分描述了每个数据点的异常水平。根据异常评分对数据实例进行排序，由主题专家选择特定领域的阈值（通常称为决策评分）来识别异常。一般来说，决策分数比二进制标签揭示更多的信息。对于距离数据中心较远的点（例如，距离数据中心较远的点）。

8.5.2Labels：
一些技术可以将类别标签作为正常或异常分配给每个数据实例，而不是分配分数。使用自动编码器的无监督异常检测技术测量残差向量的大小（即重建误差）以获得异常分数，然后由领域专家对重建误差进行排序或阈值化以标记数据实例。
9深部异常探测的应用
在本节中，我们将讨论深度异常检测的几种应用。对于每个应用领域，我们讨论以下四个方面：
-异常的概念；
-数据的性质；
-与异常检测相关的挑战；
-现有的深部异常探测技术。
9.1入侵检测
入侵检测系统（IDS）是指识别计算机相关系统中的恶意活动（Phoha[2002]）。IDS可以部署在称为主机入侵检测（HIDS）的单台计算机上，用于大型网络入侵检测（NIDS）。入侵检测的深度异常检测技术分类如图11所示。根据检测方法的不同，入侵检测分为基于特征的入侵检测和基于异常的入侵检测。使用基于特征码的入侵检测系统检测新的攻击是不有效的，因为没有特定的特征码模式，所以基于异常的检测方法更为流行。在这篇综述中，我们重点讨论了入侵检测中采用的深度异常检测（DAD）方法和体系结构。
9.1.1基于主机的入侵检测系统（HIDS）：
此类系统是安装的软件程序，通过监听主机内发生的系统调用或事件来监视单个主机或计算机的恶意活动或违反策略（Vigna和Kruegel[2005]）。系统调用日志可以由程序或用户交互生成，从而生成如图9b所示的日志。恶意交互导致这些系统调用以不同的顺序执行。HIDS还可以监视系统的状态、在随机存取存储器（RAM）、文件系统、日志文件或其他地方存储的信息，以获得有效的序列。应用于HIDS的深度异常检测（DAD）技术需要处理数据的可变长度和连续性。DAD技术要么对序列数据建模，要么计算序列间的相似性。HIDS的一些成功的full-DAD技术如表3所示。
9.1.2网络入侵检测系统（NIDS）：
NIDS系统通过检查每个网络数据包来监控整个网络中的可疑流量。由于流媒体的实时性，数据的性质与大数据具有高容量、高速度、高多样性的特点。网络数据还具有与其相关联的时间方面。NIDS的一些成功的全DAD技术如表4所示。该调查还列出了表5中用于评估DAD入侵检测方法的数据集。DAD技术在入侵检测中面临的一个挑战是，当入侵者调整其网络攻击以逃避现有的入侵检测解决方案时，异常的性质会随着时间的推移而不断变化。



9.2欺诈检测
欺诈是为了获取宝贵资源而故意实施的欺骗行为（Abdallah等人[2016]）。普华永道（普华永道）2018年全球经济犯罪调查（Lavion[2018]，Zhao[2013]）发现，在他们调查的7200家公司中，有一半遭遇过某种性质的欺诈。欺诈侦查是指对不同行业非法活动的侦查，如图12所示。

电信、保险（健康、汽车等）索赔、银行（报税索赔、信用卡交易等）欺诈是政府和私营企业面临的重大问题。侦查和预防欺诈并不是一项简单的任务，因为欺诈是一种适应性犯罪。许多传统的机器学习算法已成功应用于欺诈检测（Sorournejad等人[2016]）。与检测欺诈相关的挑战是，它需要实时检测和预防。本节重点介绍用于欺诈检测的深度异常检测（DAD）技术。
9.2.1银行欺诈
信用卡已成为一种流行的支付方式在网上购物的商品和服务。信用卡欺诈涉及窃取支付卡的详细信息，并将其用作交易中的欺诈资金来源。在过去几年中，出现了许多信用卡欺诈检测技术（Zhou等人[2018]，Suganya和Kamalraj[2015]）。我们将简要回顾一些DAD技术，如表6所示。信用卡欺诈检测面临的挑战是，欺诈没有一致的模式。信用卡欺诈检测的典型方法是为每个用户维护一个使用概要文件，并监控用户概要文件以检测任何偏差。由于这种方法没有很好的可扩展性，所以信用卡用户的规模并不是很大。由于DAD技术固有的可扩展性，它在信用卡欺诈检测中得到了广泛的应用。

9.2.2移动蜂窝网络欺诈
最近一段时间，移动蜂窝网络已经见证了快速部署和发展，支持数十亿用户和各种各样的移动设备。由于这种广泛的采用和较低的移动蜂窝服务速率，移动蜂窝网络现在面临着欺诈，例如以窃取客户私人信息为目标的语音欺诈，以及与短信相关的以敲诈客户钱财的欺诈。由于移动蜂窝网络的容量和速度，检测此类欺诈行为是最重要的，而且不是一项容易的任务。传统的基于静态特征工程技术的机器学习方法已经不能适应不断发展的欺诈行为的本质。表7列出了用于移动蜂窝网络欺诈检测的DAD技术。

9.2.3保险欺诈
几种传统的机器学习方法已成功应用于检测保险索赔欺诈（Joudaki等人[2015]，Roy和George[2017]）。传统的欺诈检测方法是基于欺诈指标的特征。这些传统方法的挑战在于，需要手动专业知识来提取健壮的特征。保险欺诈的发生率也远低于其总索赔数，这是另一个挑战。为了克服这些限制，提出了几种DAD技术，如表8所示。

9.2.4医疗欺诈

医疗保健是人们生活中不可或缺的组成部分，浪费、滥用和欺诈每年会使医疗保健成本上升数百亿美元。医疗保险索赔欺诈是增加医疗成本的一个重要因素，但通过欺诈检测可以减轻其影响。一些机器学习模型已被有效地用于医疗保险欺诈（Bauder和Khoshgoftaar[2017]）。表9概述了用于医疗欺诈识别的DAD方法。

9.3恶意软件检测

恶意软件，恶意软件的缩写。为了保护合法用户免受恶意软件的侵害，提出了基于机器学习的高效恶意软件检测方法（Ye等人[2017]）。在经典的机器学习方法中，恶意软件的检测过程通常分为两个阶段：特征提取和分类/聚类。传统恶意软件检测方法的性能主要取决于提取的特征和分类/聚类方法。与恶意软件检测问题相关的挑战是数据的绝对规模，例如，将数据视为字节一个特定的序列分类问题可能有200万个时间步长。此外，恶意软件具有很强的适应性，攻击者可以利用先进的技术隐藏恶意行为。表10显示了一些有效应对这些挑战并检测恶意软件的DAD技术。

9.4医疗异常检测
已在[2018a]和[2016]中进行了深入的医学信息学和实践研究。在医学图像分析、临床脑电图（EEG）记录等领域发现罕见事件（异常），可以诊断和预防各种疾病。以11种基于深度学习的体系结构来检测重大的医学异常。医学领域中大量的不平衡数据给异常值的检测带来了巨大的挑战。此外，长期以来，深度学习技术一直被认为是黑匣子技术。尽管深度学习模式产生了出色的表现，但这些模式缺乏解释能力。近年来，人们提出了具有良好解释能力的模型，并证明这些模型能够产生最先进的性能（Gugulothu等人，Amarasinghe等人[2018b]，Choi[2018]）。

9.5社交网络异常检测的深度学习
最近一段时间，在线社交网络已经成为日常生活的一部分。社交网络中的异常现象是指社交网络中个人的不规则行为模式，通常是非法行为模式；这类个人可能被认定为垃圾邮件发送者、性侵犯者、在线欺诈者、假用户或谣言散布者。检测这些不规则的模式是最重要的，因为如果没有检测到，这些人的行为可能会产生严重的社会影响。传统异常检测技术及其在社交网络中检测异常所面临的挑战的调查是文献中一个很好的研究主题（Liu and Chawla[2017]，Savage et al[2014]，Anand et al[2017]，Yu et al[2016]，Cao et al[2018b]，Yu et al[2016]）。数据的异构性和动态性对DAD技术提出了重大挑战。尽管存在这些挑战，表12中所示的几种DAD技术仍优于最先进的方法。

9.6日志异常检测
在日志文件中进行异常检测的目的是发现文本，从而能够指示系统故障的原因和性质。最常见的是，根据过去的经验构造一个特定于域的正则表达式，通过模式匹配发现新的错误。这种方法的局限性在于很容易检测不到新的故障消息（Memon[2008]）。日志数据在格式和语义上的非结构化和多样性给日志异常检测带来了巨大的挑战。异常检测技术应适应并行生成的测井数据集，并实时检测异常值。随着深度神经网络在实时文本分析中的成功，表13中说明的几种DAD技术将日志数据建模为自然语言序列，在检测异常值方面显示出非常有效的效果。

9.7物联网大数据异常检测
物联网被识别为与软件、服务器、传感器等互连的设备网络。在物联网领域，气象站、射频识别（RFID）标签、IT基础设施组件和一些其他传感器生成的数据大多是时间序列序列数据。这些物联网中的异常检测可以识别这些大规模互联设备的欺诈、错误行为。与异常检测相关的挑战是异构设备相互连接，这使得系统更加复杂。（Mohammadi等人[2018]）对使用深度学习（DL）促进物联网领域的分析和学习进行了全面概述。表14说明了物联网设备采用的DAD技术。

9.8工业异常检测
由风力涡轮机、发电厂、高温能源系统、储存装置和旋转机械部件组成的工业系统每天都面临巨大的压力。这类系统的损坏不仅会造成经济损失，而且会造成声誉的损失，因此，及早发现并修复它们至关重要。一些机器学习技术已被用于检测工业系统中的此类损伤（Ramotsoela等人[2018]，Mart´ı等人[2015]）。利用深度学习模型检测早期工业损伤的几篇论文显示了巨大的前景（Atha和Jahanshahi[2018]，de Deijn[2018]，Wang等人[2018c]）。对设备造成的损坏是罕见的事件，因此检测此类事件可以表示为异常检测问题。由于故障是由多种因素引起的，因此该领域中与异常值检测相关的挑战既包括数据量，也包括数据的动态特性。表15说明了不同行业采用的一些DAD技术。

9.9时间序列异常检测
持续时间内连续记录的数据称为时间序列。时间序列数据大致可分为单变量时间序列和多变量时间序列。对于单变量时间序列，只有单个变量（或特征）随时间变化。例如，从室内温度传感器每秒收集的数据是单变量时间序列数据。多元时间序列由几个随时间变化的变量（或特征）组成。加速度计每秒钟为每个轴（x，y，z）生成一个三维数据，这是多变量时间序列数据的完美例子。在文献中，单变量和多变量时间序列中的异常分为以下几类：（1）点异常8.4.1（2）上下文异常8.4.2（3）集体异常8.4.3。最近，人们提出了许多深度学习模型来检测单变量和多变量时间序列数据中的异常，如表16和表17所示。使用深度学习模型数据检测时间序列异常的一些挑战是：
•可能会定义出现异常的定义模式缺失。
•输入数据中的噪声严重影响算法的性能。
•随着时间序列数据长度的增加，计算复杂性也随之增加。
•时间序列数据通常是非平稳、非线性和动态演变的。因此，DAD模型应该能够实时检测异常。


9.9.1单变量时间序列深度异常检测
深度学习领域的发展为提取丰富的层次特征提供了机会，可以极大地提高单变量时间序列数据中离群点的检测。Github repository 2提供并维护了一元和多元时间序列数据异常检测算法基准测试的行业标准工具和数据集列表（基于深度学习和非深度学习）。表16说明了在单变量时间序列数据中用于异常检测的各种深层结构。
9.9.2多变量时间序列深度异常检测
多元时间序列数据中的异常检测是一项具有挑战性的任务。有效的多元异常检测使故障隔离诊断成为可能。基于RNN和LSTM的方法3在检测多元时间序列数据集中的可解释异常方面表现良好。DeepAD（Buda等人[2018]）提出了一种基于深度学习的多变量时间序列异常检测通用框架。使用基于深度注意的模型设计的可解释的异常检测系统能够有效地解释检测到的异常（Yuan等人[2018b]，Guo和Lin[2018]）。表17说明了在多变量时间序列数据中用于异常检测的各种深层结构。
9.10视频监控
视频监控也被通俗地称为闭路电视（CCTV），包括监控指定的感兴趣区域，以确保安全。在视频监控应用中，大量的未标记数据是可用的，这对有监督机器学习和深度学习方法是一个重大的挑战。因此，由于缺乏可用的标记数据，视频监控应用被建模为异常检测问题。一些著作研究了视频异常检测的最新深度模型，并根据模型类型和检测标准对其进行了分类（Kiran等人[2018]，Chong和Tay[2015]）。Boghosian和Black[2005]详细讨论了24/7视频监控系统的挑战。在现实生活中，视频监控中缺乏对异常的明确定义是一个重要的问题，它也会影响DAD方法的性能。视频监控中使用的DAD技术如表19所示。


10种深度异常检测（DAD）模型
在本节中，我们将讨论根据标签可用性和培训目标分类的各种DAD模型。对于每个模型类型域，我们讨论以下四个方面：
-假设；
-模型架构的类型；
-计算复杂性；
-优点和缺点；
10.1有监督的深部异常检测
有监督的异常检测技术在性能上优于无监督的异常检测技术，因为这些技术使用标记样本（Gornitz等人[2013]）。有监督的异常检测从一组带注释的数据实例（训练）中学习分离边界，然后用学习的模型将测试实例分为正常类和异常类（测试）。
假设：深度监督学习方法依赖于分离数据类，而非监督技术则侧重于解释和理解数据的特征。基于多类分类的异常检测技术假设训练数据包含多个正常类的标记实例（Shilton等人[2013]，Jumutc和Suykens[2014]，Kim等人[2015]，Erfani等人[2017]）。多类异常检测技术学习一个分类器来区分异常类和其他类。通常，基于监督深度学习的异常检测分类方案有两个子网络，一个子网络是特征提取网络，然后是分类器网络。深度模型需要大量的训练样本（数千或数百万个）来学习特征表示，从而有效地区分不同的类实例。由于缺乏干净的数据标签，有监督的深度异常检测技术不如半监督和无监督的方法流行。
计算复杂度：基于bp算法的深度监督异常检测方法的计算复杂度取决于输入数据的维数和训练的隐层数。高维数据往往有更多的隐藏层，以确保输入的意义完全分层学习特点计算复杂度也随着隐藏层的数量线性增加，需要更多的模型训练和更新时间。
优缺点：监督式DAD技术的优点如下：
•有监督的DAD方法比半监督和无监督模型更精确。
•基于分类技术的测试阶段很快，因为每个测试实例都需要与预计算模型进行比较。
监督式DAD技术的缺点如下：
•多类监督技术需要对各种正常类和异常实例进行准确的标记，这通常是不可用的。
•如果特征空间高度复杂和非线性，深度监督技术无法将正常数据与异常数据分开。

10.2半监督深度异常检测
半监督或（一类分类）DAD技术假设所有训练实例只有一个类标签。Kiran等人[2018]和Min等人[2018]对基于深度学习的半监督异常检测技术进行了综述。爸爸的技术学习了一个有区别的边界周围的正常情况。不属于多数类的测试实例被标记为异常（Perera and Patel[2018]，Blanchard et al[2010]）。各种半监督DAD模型架构如表20所示。
假设：提出的半监督DAD方法依赖于以下假设之一，将数据实例作为异常进行评分。
•邻近性和连续性：在输入空间和学习的特征空间中彼此接近的点更有可能共享同一标签。
•在深层神经网络层的隐藏层中学习鲁棒特征，并保留区分正常数据点和异常数据点的鉴别属性。

计算复杂度：基于半监督DAD方法的技术的计算复杂度类似于监督DAD技术，这主要取决于输入数据的维数和用于代表性特征学习的隐藏层的数量。优缺点：半监督深度异常检测技术的优点如下：
•在半监督学习模式下训练的生成性对抗网络（GAN）显示出巨大的前景，即使只有很少的标记数据。
•与无监督技术相比，使用标记数据（通常为一类）可以显著提高性能。
Lu（2009）提出的半监督技术的基本缺点甚至适用于深度学习环境。此外，在隐藏层中提取的层次特征可能不能代表较少的异常实例，因此容易出现过拟合问题。
10.3混合深部异常探测
深度学习模型被广泛用作特征提取器来学习健壮的特征（Andrews等人[2016a]）。在深度混合模型中，将深度模型中学习到的代表性特征输入到传统算法中，如单类径向基函数（RBF）、支持向量机（SVM）等。混合模型采用两步学习，并显示出产生最新结果（Erfani等人[2016a，b]，Wu等人[2015b]）。用于异常检测的深度混合架构如表21所示。

假设：
建议的混合异常检测模型依赖于以下一种异常检测：
•在深层神经网络的隐藏层内提取鲁棒特征，帮助分离可以隐藏异常的不相关特征。
•在复杂的高维空间上建立一个健壮的异常检测模型需要特征提取器和异常检测器。表21中说明了与之配套使用的各种异常探测器
计算复杂度:
混合模型的计算复杂度包括深层体系结构和传统算法的复杂性。此外，深层网络结构和参数的非琐碎选择涉及到在相当大的空间中搜索优化参数的固有问题，引入了在混合模型中使用深层的计算复杂性。此外，还考虑了线性支持向量机等经典算法，其预测复杂度为O(d)，输入维数为d。对于大多数核，包括多项式和RBF，其复杂度为O(nd)，其中n为支持向量的个数，尽管对于具有RBF核的支持向量机考虑近似为O(d²)。

优点和缺点
混合DAD技术的优势如下：
•特征抽取器显著降低了“维数灾难”，尤其是在高维领域。
•混合模型更具可扩展性，计算效率更高，因为线性或非线性内核模型在降低的输入维上运行。
混合DAD技术的显著缺点是：
•混合方法是次优的，因为它无法影响特征抽取器隐藏层内的表征学习，因为使用通用损失函数而不是定制的异常检测目标。
•如果单独的层是（Saxe等人[2011]），则更深层次的混合模型往往表现更好，这引入了计算开销。
10.4用于异常检测的单类神经网络（OC-NN）
单类神经网络（OC-NN）结合了深层网络的能力，可以提取数据的逐渐丰富的表示形式以及单类目标，例如超平面（Chalapathy et al.[2018a]）或超球面（Ruff et al.[2018a]），将所有正常数据点从异常值中分离出来。OC-NN方法是新颖的，其关键原因如下：通过优化为异常检测定制的目标函数，学习隐藏层中的数据表示，如（Chalapathy等人[2018a]中的实验结果所示，Ruff等人[2018a]证明，OC-NN可以获得与现有最先进的复杂数据集方法相当或更好的性能，同时与现有方法相比，具有合理的训练和测试时间。
假设：用于异常检测的OC-NN模型依赖于以下假设来检测异常值：
•OC-NN模型提取深层神经网络隐藏层内数据分布中的共同变异因素。
•执行组合表示学习，并为测试数据实例生成异常值分数。
•异常样本不包含共同的变异因素，因此隐藏层无法捕捉异常值的表示。
计算复杂性：OC-NN模型相对于混合模型的计算复杂性仅包括选择的深层网络的复杂性（Saxe等人[2011]）。OC-NN模型不需要存储用于预测的数据，因此具有非常低的内存复杂度。然而，很明显，OC-NN训练时间与输入维数成正比。
优缺点：OC-NN的优点如下：
•OC-NN模型联合训练深层神经网络，同时优化输出空间中包含超球或超平面的数据。
•OC-NN提出了一种交替最小化算法来学习OC-NN模型的参数。我们观察到OC-NN目标的子问题等价于求解一个定义良好的分位数选择问题。
OC-NN用于异常检测的显著缺点是：
•输入和更新高维模型的时间可能更长。
•考虑到输入空间的变化，模型更新也需要更长的时间。
10.5无监督深部异常探测
无监督DAD是机器学习基础研究和工业应用的重要研究领域。提出了几个深度学习框架来解决无监督异常检测中的挑战，并展示了产生最先进性能的方法，如表22所示。自动编码器是用于异常检测的基本无监督深层架构（Baldi[2012]）。

假设：用于异常检测的深度无监督模型依赖于以下假设之一来检测异常值：
•可以将原始或潜在特征空间中的“正常”区域与原始或潜在特征空间中的“异常”区域区分开来。
•与数据集的其余部分相比，大多数数据实例是正常的。
•无监督异常检测算法根据数据集的固有属性（如距离或密度）生成数据实例的异常值分数。深层神经网络的隐藏层旨在捕捉数据集中的这些内在特性（Goldstein和Uchida[2016]）
计算复杂度：自编码器是二次代价离群点检测中最常用的结构，优化问题是非凸的，类似于其他神经网络结构。计算的复杂度取决于网络的隐层数和运算模型的参数。然而，由于主成分分析（PCA）基于矩阵分解，因此训练自动编码器的计算复杂度远高于传统方法，如主成分分析（PCA）（Meng等人[2018]，Parchami等人[2017]）。优缺点：无监督深部异常探测技术的优点如下：
•学习固有的数据特征，以区分正常和异常数据点。这种技术可以识别数据中的共性，并有助于异常点检测。
•寻找异常的经济有效的技术，因为它不需要注释数据来训练算法。
无监督深度异常检测技术的显著缺点是：
•在复杂的高维空间中学习数据的共性往往是一项挑战。
•使用自动编码器时，选择适当的压缩程度，即降维通常是一个超参数，需要调整以获得最佳结果。
•无监督技术对噪声和数据损坏非常敏感，通常不如有监督或半监督技术准确。
10.6其他技术
本节探讨各种被证明是有效和有前途的DAD技术，我们讨论这些技术背后的关键思想及其适用范围。
10.6.1基于迁移学习的异常检测
长期以来，深度学习因需要足够的数据才能产生好的结果而受到批评。Litjens et al.[2017]和Pan et al.[2010]对深度迁移学习方法进行了综述，并说明了它们对学习良好特征表征的意义。迁移学习是机器学习中解决训练数据不足这一根本问题的重要工具。其目的是通过放宽训练数据和未来数据必须在同一特征空间中且分布相同的假设，将知识从源域转移到目标域。深度迁移表征学习已经被（Andrews et al.[2016b]、Vercruyssen et al.[2017]、Li et al.[2012]、Almajai et al.[2012]、Kumar and Vaidehi[2017]、Liang et al.[2018]）所探索，并显示出非常有希望的结果。将迁移学习用于异常检测的开放性研究问题是迁移能力的程度，即定义特征在不同任务间的知识迁移和提高分类性能的程度。
10.6.2基于零样本学习的异常检测
零样本学习（ZSL）旨在识别训练集中从未见过的物体（Romera Paredes and Torr[2015]）。ZSL分两个阶段实现这一点：首先获取自然语言描述或属性（通常称为元数据）中对象的知识，然后使用这些知识在一组新的类中对实例进行分类。这种设置在现实世界中很重要，因为人们可能无法在训练中获得所有可能课程的图像。与此方法相关联的主要挑战是获取有关数据实例的元数据。然而，在异常和新颖性检测中使用ZSL的几种方法可以产生最先进的结果（Mishra等人[2017]，Socher等人[2013]，Xian等人[2017]，Liu等人[2017]，Rivero等人[2017]）。
10.6.3基于集合的异常检测
深度神经网络的一个值得注意的问题是，它们对输入数据中的噪声非常敏感，通常需要大量的训练数据才能稳健地执行（Kim等人[2016]）。为了实现鲁棒性，即使在噪声数据的想法随机变化的连通性架构的自动编码器显示，以获得显着更好的性能。Chen等人[2017]对由各种随机连接的自动编码器组成的自动编码器群进行了实验，以在多个基准数据集上获得有希望的结果。集成方法仍然是一个活跃的研究领域，已经被证明可以产生更好的多样性，从而避免过度拟合问题，同时减少训练时间。
10.6.4基于聚类的异常检测
已有文献提出了几种基于聚类的异常检测算法（Ester等人[1996]）。聚类包括根据提取的特征将相似的模式组合在一起，以检测新的异常。时间和空间复杂度随着待聚类类的数量呈线性增长（Sreekanth等人[2010]），这使得基于聚类的异常检测在实时实际应用中难以实现。在深层神经网络的隐层中提取特征，降低了输入数据的维数，保证了复杂高维数据集的可扩展性。支持深度学习的聚类方法异常检测利用word2vec（Mikolov等人[2013]）模型获得正常数据和异常的语义表示，形成聚类并检测异常值（Yuan等人[2017]）。一些工作依赖于混合模型的变体以及自动编码器来获得用于聚类以发现异常的代表性特征。
10.6.5基于深度强化学习（DRL）的异常检测
深度强化学习（DRL）方法因其在高维数据空间中学习复杂行为的能力而受到广泛关注。de La Bourdonnaye等人[2017]和Chengqiang Huang[2016]提出了利用深度强化学习检测异常的努力。基于DRL的异常检测器不考虑任何关于异常概念的假设，检测器通过不断积累的奖励信号增强其知识来识别新的异常。基于DRL的异常检测是一个非常新颖的概念，需要进一步的研究和识别其应用的研究空白。
10.6.6统计技术深度异常探测
希尔伯特变换是一种统计信号处理技术，它导出实值信号的解析表示。（Kanarachos等人[2015]）利用这一特性实时检测健康相关时间序列数据集中的异常，并被证明是一种非常有前途的技术。该算法将小波分析、神经网络和Hilbert变换相结合，以序贯的方式检测实时异常。统计技术和数据处理技术的主题需要进一步的研究，以充分了解它们在异常检测中的潜力和适用性。
11异常定位的深层神经网络结构
11.1深度神经网络（DNN）
“深层神经网络”中的“深层”是指提取数据特征的层数（Schmidhuber[2015]，Bengio等人[2009]）。深层架构克服了传统机器学习方法的局限性，即可扩展性、数据中新变化的泛化（LeCun等人[2015]）以及手动特征工程的需要。深层信念网络是一类由多层图形模型构成的深层神经网络，称为受限玻耳兹曼机（RBMs）。使用DBNs进行异常检测的假设是RBMs被用作带反向传播算法的定向编解码网络（Werbos[1990]）。DBNs无法捕捉异常样本的特征变化，导致重建误差较大。DBN被证明可以有效地扩展到大数据并提高可解释性（Wulsin等人[2010]）。
11.2时空网络Spatio Temporal Networks（STN）
长期以来，研究人员一直在探索学习空间和时间关系特征的技术（Zhang等人[2018f]）。利用深度学习体系结构可以很好地分别学习空间方面（使用CNN）和时间特征（使用LSTMs）。时空网络（STNs）由深层神经结构组成，结合CNN和LSTMs提取时空特征。时间特征（通过LSTM对近时间点之间的相关性进行建模）、空间特征（通过局部CNN对局部空间相关性进行建模）被证明在检测异常值方面是有效的（Lee等人[2018]、SZEKER[2014]、Nie等人[2018]、Dereszynski和Dieterich´[2011]）。
11.3和积网络（SPN）
和积网络（Sum-Product Networks，spn）是以变量为叶的有向无环图，其内部节点和加权边构成和与积。SPN被认为是混合模型的组合，在许多层上具有快速精确的概率推断（Poon和Domingos[2011]，Peharz等人[2018]）。SPNs的主要优点是，与图形模型不同，SPNs比高树宽模型更具可追踪性，而不需要近似推理。此外，SPN以令人信服的方式捕获其输入的不确定性，产生稳健的异常检测（Peharz等人[2018]）。SPN在许多数据集上显示出令人印象深刻的结果，而与离群点检测相关的许多问题仍有待进一步研究。
11.4 Word2vec型号
Word2vec是一组用于产生单词嵌入的深层神经网络模型（Mikolov等人[2013]）。这些模型能够捕获数据实例中的顺序关系，例如句子、时间序列数据。获得单词嵌入特征作为输入可以提高一些深度学习架构的性能（Rezaeinia等人[2017]，Naili等人[2017]，Altszyler等人[2016]）。利用word2vec嵌入的异常检测模型被证明能显著提高性能（Schnabel等人[2015]，Bertero等人[2017]，Bakarov等人[2018]，Bamler和Mandt[2017]）。
11.5生成模型
目的是为了学习新的数据生成点的精确分布。最常见和最有效的两种生成方法是变分自动编码器（VAE）（Kingma和Welling[2013]）和生成对抗网络（GAN）（Goodfello等人[2014a，b]）。一种称为对抗式自动编码器（AAE）的GAN结构变体（Makhzani等人[2015]）使用对抗式训练对在自动编码器的隐藏层中学习的潜在代码施加任意先验，也显示出有效地学习输入分布。利用这种学习输入分布的能力，提出的几种基于生成性对抗网络的异常检测（GAN-AD）框架（Li等人[2018]，Deecke等人[2018]，Schlegl等人[2017]，Ravanbakhsh等人[2017b]，Eide[2018]）在识别高维复杂数据集上的异常方面是有效的。然而，与深层生成模型相比，传统方法（如K-最近邻（KNN））在异常数量较少的情况下表现更好（Skvara等人[2018]）。
11.6卷积神经网络
卷积神经网络（CNN）是分析视觉图像的常用神经网络（Krizhevsky等人[2012]）。CNN能够从具有复杂结构的高维数据中提取复杂的隐藏特征，这使得它能够在序列和图像数据集的离群点检测中用作特征提取器（Gorokhov等人[2017]，Kim[2014]）。对基于CNN的异常检测框架的评估目前仍是一个活跃的研究领域（Kwon等人[2018]）。
11.7序列模型
递归神经网络（RNNs）（Williams[1989]）可以捕获时间序列数据的特征。RNN的局限性在于，随着时间步长的增加，它们无法捕获上下文，为了解决这个问题，引入了长-短期记忆（Hochreiter和Schmidhuber[1997]）网络，它们是一种特殊类型的RNN，由一个可以存储有关前一时间步长信息的存储单元组成。门控循环单元（Cho等人[2014]）（GRU）与LSTMs类似，但使用一组门来控制信息流，而不是单独的存储单元。序列数据中的异常检测因其在第9.9节所述的广泛工程问题中的应用而引起了文献界的极大兴趣。基于长-短期记忆（LSTM）神经网络的异常检测算法已被研究并报告，与传统方法相比产生了显著的性能提升（Ergen等人[2017]）。
11.8自动编码器
带有线性激活函数的单层自动编码器几乎等同于主成分分析（PCA）（Pearson[1901]）。虽然主成分分析仅限于线性降维，但自动编码器实现了线性或非线性变换（Liou等人[2008，2014]）。自动编码器的一个流行应用是异常检测。自动编码器也被称为复制神经网络（RNN）（Hawkins等人[2002]，Williams等人[2002]）。自动编码器通过重构输入数据来表示多个隐藏层中的数据，有效地学习身份函数。当自动编码器仅针对正常数据实例（在异常检测任务中占大多数）进行训练时，无法重建异常数据样本，因此产生了较大的重建误差。产生高残差的数据样本被认为是离群点。如图13所示，提出了几种不同的自动编码器架构，在异常检测中产生了有希望的结果。自动编码器结构的选择取决于数据的性质，卷积网络是首选的图像数据集，而长期短期记忆（LSTM）为基础的模型往往产生良好的结果顺序数据。在编码器为卷积神经网络（CNN）而解码器为多层LSTM网络的情况下，将卷积层和LSTM层结合起来重建输入图像的努力被证明在检测数据中的异常方面是有效的。组合模型的使用，如选通递归单元自动编码器（GRU-AE），卷积神经网络自动编码器（CNN-AE），长-短期记忆（LSTM）自动编码器（LSTM-AE）消除了准备手工特征的需要，并有助于在异常检测任务中以最小的预处理使用原始数据。尽管自动编码器是一种简单有效的离群点检测架构，但由于训练数据的噪声，其性能会下降（Zhou和Paffenroth[2017]）。
12相对优缺点：深部异常探测方法
前面讨论的每种深度异常检测（DAD）技术都有其独特的优点和缺点。了解哪种异常检测技术最适合给定的异常检测问题上下文是至关重要的。鉴于DAD是一个活跃的研究领域，对每一个异常检测问题提供这样的理解是不可行的。因此，在本节中，我们将针对一些简单的问题设置，分析不同类别技术的相对优势和劣势。第10.1节中说明的基于分类的有监督的DAD技术是在正常和异常情况下由等量标签组成的场景中的更好选择。有监督DAD技术的计算复杂度是一个关键问题，特别是当该技术应用于实际领域时。虽然基于分类、有监督或半监督的方法训练时间很长，但测试通常很快，因为它使用预先训练好的模型。第10.5节介绍的无监督DAD技术被广泛应用，因为标签获取是一个昂贵且耗时的过程。大多数无监督深度异常检测都需要对异常分布进行先验假设，因此模型在处理噪声数据时鲁棒性较差。第10.3节中说明的混合模型在深层神经网络的隐藏层中提取鲁棒特征，并提供最佳性能的经典异常检测算法。混合模型方法是次优的，因为它不能影响隐藏层中的表征学习。第10.4节中描述的单类神经网络（OC-NN）结合了深层网络的能力，以提取数据的逐渐丰富的表示以及单类目标，例如超平面（Chalapathy et al.[2018a]）或超球面（Ruff et al.[2018a]），以分离所有正常数据点和异常数据点。进一步的研究和探索是必要的，以更好地理解这种新的架构提出的好处。

13结论
本文讨论了基于深度学习的异常检测的各种研究方法及其在各个领域的应用。本文讨论了深部异常检测面临的挑战，并提出了解决这些挑战的几种现有解决方案。对于每一类深部异常探测技术，我们提出了关于正常和异常数据的概念及其优缺点的假设。这项调查的目的是调查和确定各种深度学习模型的异常检测和评估其适合于给定的数据集。当选择一个特定领域或数据的深度学习模型时，这些假设可以作为评估该领域技术有效性的准则。基于深度学习的异常检测仍然是一个活跃的研究领域，未来可能的工作是随着更复杂的技术的提出而扩展和更新这一研究。