Memorizing Normality to Detect Anomaly ——记忆正常以检测异常

Memorizing Normality to Detect Anomaly: Memory-augmented Deep
Autoencoder for Unsupervised Anomaly Detection

记忆正常检测异常：记忆增强型深度自动编码器无监督异常检测

中国人挂了一堆外国人

 

Abstract

深度自动编码器在异常检测中得到了广泛的应用。通过对正常数据的训练，期望自动编码器对异常输入产生比正常输入更高的重建误差，并将其作为识别异常的判据。然而，这一假设在实践中并不总是成立的。已经观察到，有时自动编码器非常“概括”，以至于它也可以很好地重建异常，从而导致异常的遗漏检测。为了改善基于自动编码器的异常检测的这一缺陷，我们提出在自动编码器中增加一个记忆模块，并开发了一种改进的自动编码器，称为记忆扩充自动编码器，即MemAE。给定一个输入，MemAE首先从编码器获取编码，然后将其用作查询以检索最相关的内存项进行重建。在训练阶段，更新存储内容，并鼓励其表示正常数据的原型元素。在测试阶段，学习的记忆将是固定的，并从正常数据的几个选定的记忆记录中获得重构。这种结构很可能会变得像正常样品一样。从而增强重构后的异常误差，用于异常检测。MemAE没有对数据类型的假设，因此一般适用于不同的任务。在不同数据集上的实验表明，MemAE算法具有良好的泛化能力和较高的效率。

• 这篇文章的目的：AE通常由于强大的性能原因，能很好的重构异常样本，这样就对依赖重构误差来识别异常带来了问题。该文提出了一种新的自动编码器MemAE来解决这个问题，使得重构异常样本时模型的重构误差能良好的体现。
• 贡献:

• 使用了存储模块来扩展深度AE，以内存增强的自动编码器，即MemAE
• 通过attention based memory addressing的存储模块效果优秀
• 使用可微分的硬收缩算子（differentiable hard shrinkage operator）来引起内存寻址权重的稀疏性（sparsity of the memory addressing weights），隐式的促使memory中的要素想要查询的要查询要素的特征空间中接近（ implicitly encourage the memory items to be close to the query in the feature space.）
   

• 背景：无监督的异常检测是在仅给出正常数据示例的情况下学习正常轮廓，然后将不符合正常轮廓的样本识别为异常，但是这个工作是非常困难的因为缺少人为的监督。当数据点位于高维空间（视频）中时，问题变得更加棘手，因为对高维数据进行建模非常困难。虽然AE的提出用于解决这类问题(在无监督的环境中对高维数据建模)，也就是：在正常数据中训练后得到模型，然后将异常数据输入模型，异常数据会出现较大的重建误差而不能重建，正常数据重建误差小可以得到重建数据。但是，有时AE也存在问题（AE can “generalize” so well that it can also reconstruct the abnormal inputs well.）。
• 结果：该文提出了一种新的自动编码器MemAE来解决这个问题，使得重构异常样本时模型的重构误差能良好的体现。并且由于不需要指定数据和编码方式能使用在各种异常检测问题上，鲁棒性和和效率都很好。
• 方法 ：使用了存储模块来扩展深度AE，以内存增强的自动编码器，即MemAE。
• 感觉存在的问题：不错的想法，效果也很好，值得仔细看一看。

Introduction

异常检测是一项重要的任务，在各个领域都有关键的应用，例如视频监控[26]。无监督异常检测[47，43，48，32，7]是在仅给出正常数据样本的情况下学习正常轮廓，然后将不符合正常轮廓的样本识别为异常，这是具有挑战性的缺乏人的监督。值得注意的是，当数据点位于高维空间(即视频)中时，问题变得更加困难，因为对高维数据建模是出了名的具有挑战性[47]。深度自动编码器(AE)[2，18]是在无监督环境下对高维数据建模的有力工具。它由用于从输入获得压缩编码的编码器和用于从编码重建数据的解码器组成。编码本质上是一个信息瓶颈，它迫使网络提取高维数据的典型模式。在异常检测中，AE通常通过最小化正常数据上的重构误差来训练，然后使用重构误差作为异常的指示器。通常假设[48，11，45]正常输入的重建误差较低，因为它们接近训练数据，而非正常输入的重建误差变高。然而，这一假设并不总是成立的，有时AE可以很好地“泛化”，以至于它也可以很好地重构异常输入。这一观察结果具有现有文献[48，图1]和本文(参见图4和6)中都提出了这一点。由于没有异常的训练样本，并且异常输入的重建行为应该是不可预测的，因此异常引起更高重建误差的假设可能在某种程度上是有问题的。如果某些异常与正常训练数据具有共同的组成模式(例如图像中的局部边缘)，或者解码器“太强”而不能很好地解码某些异常编码，则AE很有可能很好地重构这些异常。为了改善AEs的缺点，我们提出在深度自动编码器中增加一个记忆模块，并引入一种新的记忆增强型自动编码器，即MemAE(记忆增强型自动编码器)。给定输入后，MemAE不会直接将其编码提供给解码器，而是将其用作查询以检索内存中最相关的项。然后，这些项目被聚合并传送到解码器。具体地说，上述过程是通过使用基于注意力的存储器寻址来实现的。我们进一步提出使用可微硬收缩算子来诱导记忆寻址权重的稀疏性，这隐含地鼓励记忆项在特征空间中更接近于查询。在MemAE的训练阶段，我们与编码器和解码器一起更新记忆内容。由于稀疏寻址策略，MemAE模型被鼓励优化和高效地使用有限数量的存储器槽，使存储器记录正常训练数据中的典型正常模式，以获得较低的平均重建误差(见图3)。在测试阶段，学习到的记忆内容是固定的，通过选择少量的正常记忆项作为输入编码的邻域进行重构。因为重建是在内存中获得正常模式，所以它趋向于接近正常数据。因此，如果输入与正常数据不相似，即异常，则重建误差倾向于突出显示。示意图如图1所示。所提出的MemAE没有对数据类型的假设，因此可以普遍应用于解决不同的任务。我们将提出的MemAE应用于不同应用领域的各种公共异常检测数据集。大量实验证明了MemAE算法具有良好的泛化能力和高效性。