【文献阅读】FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows

FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows

摘要

1. 简述问题背景：当采集和标记足够的异常数据是不可行的时候，无监督的异常检测和定位对实际应用至关重要
2. 前人方法存在的问题：现有的大多数representation-base的方法都是通过深度卷积神经网络提取正常图像特征，并通过非参数估计的方法刻画相应的分布。通过计算测试图像的特征与估计分布之间的距离来计算异常分数。然而，目前的方法：1不能有效地将图像特征映射为可处理的基分布，2忽略了局部特征和全局特征之间的关系，而这对识别异常很重要。
3. 我们提出的方法：提出了使用2D normalizing flow的FastFLow，并使用它来估计概率分布。具体来说，FastFLow可以作为plug-in模块，与任意的深度特征提取器(如ResNet和Vision Transformer)一起使用，用于无监督异常检测和定位。在训练阶段，FastFlow学习将输入的视觉特征转化为可处理的分布，并在测试阶段得到异常的似然（即概率）。
4. 得到的结果：在MVTec AD数据集上的大量实验结果表明，fastflow在准确性和推理效率方面超过了以往的先进方法。该方法具有较高的推理效率，异常检测AUC达到99.4%。

1 Introduction

\qquad 计算机视觉中的异常检测与定位的目的是确定异常图像，以及定位异常，广泛应用于工业检测缺陷，医学影像检查，安全检查等领域。然而，由于异常的概率密度低，正常与异常数据通常表现出严重的长尾分布，甚至在某些情况下没有异常样本。这一现实的缺点使得在实践中很难收集和注释大量的异常数据来进行监督学习。为了解决这一问题，提出了一种无监督异常检测方法，即one-class 分类或out-of-distribution检测方法。也就是说，我们在训练中只使用正常样本但是在测试中要可以检测出异常。
\qquad 一种很有前途的无监督异常检测方法是利用深度神经网络获取正态图像的特征，并用一些统计方法对其分布进行建模，然后检测具有不同分布的异常样本该方法包括两个主要部分：特征提取module和分布估计module。

\qquad 在分布估计模块上，以往的方法都是采用非参数方法对正态图像的特征分布进行建模。例如，通过计算特征的均值和方差估计多维高斯分布，或者使用聚类算法，通过标准聚类估计这些正常样本的特征。最近，一些工作开始使用normalizing flow来估计分布。通过最大化正态图像特征的对数似然的可训练过程，他们将正态图像特征嵌入到标准正态分布中，并使用概率来识别和定位异常。然而，原有的一维归一化流模型需要将二维输入特征平面化为一维向量来估计其分布，这破坏了二维图像固有的空间位置关系，限制了流模型的能力。除此之外，这些方法需要通过滑动窗口法对图像中大量的patch进行特征提取，并对每个patch进行异常检测，从而获得异常定位结果，这导致推理复杂度高，限制了这些方法的实用价值。 \qquad 为了解决上述问题，我们提出了FastFlow，将原来的归一化流扩展到二维空间。我们在流模型中使用全卷积网络作为子网，它可以保持空间的相对位置，提高异常检测的性能。同时支持对整幅图像进行端到端推理，直接将异常检测和定位结果一次性输出，提高了推理效率。

\qquad 对于异常检测中的特征提取模块，除了使用CNN的一些backbone如ResNet 获取判别特征外，大部分现有工作重点研究如何合理利用多尺度特征在不同尺度和语义层次识别异常，并通过滑动窗口方法实现像素级异常定位。全局信息与局部异常相关性的重要性无法充分利用，而滑动窗口方法需要测试大量的图像patch，计算复杂度高。为了解决这些问题，我们使用FastFlow通过端到端测试阶段来获得全局和局部特征分布的可学习建模，而不是设计复杂的多尺度策略和使用滑动窗口方法。我们在两种backbone上进行了实验:Vision Transformers和CNN。与CNN相比，Vision Transformers可以提供一个全局的接受域，更好地利用全局和局部信息，同时保持不同深度的语义信息。因此，我们在Vision Transformers中只使用某一层的特征。用Vision Transformers替换CNN似乎微不足道，但我们发现，在其他方法中执行这个简单的替换实际上会降低性能，但我们的2D流在使用CNN时获得了具有竞争力的结果。我们的FastFlow具有更强的全局和局部建模能力，所以它可以更好地发挥Transformers的有效性。

\qquad 如图1所示，在我们的方法中，我们首先通过特征提取器提取视觉特征，然后将其输入到FastFlow中来估计概率密度。在训练阶段，我们的FastFlow用正常图像进行训练，以二维方式将原始分布转化为标准正态分布。在推理中，我们使用二维特征上每个位置的概率值作为异常得分。

\qquad 综上所述，本文的主要贡献是:

1. 我们提出了一种二维归一化流FastFlow来进行异常检测和定位，该流采用全卷积网络和二维损失函数来有效地模拟全局和局部分布。
2. 我们为FastFlow设计了一种轻量级的网络结构，所有步骤都采用大卷积核和小卷积核交替叠加。该方法采用端到端的推理阶段，具有较高的效率。
3. 提出的FastFlow模型可以作为plug-in模型使用各种不同的特征提取器。在MVTec异常检测数据集上的实验结果表明，我们的方法在准确性和推理效率方面都优于以往最先进的异常检测方法。

2 Related Work

略

3 Methodology

在本节中，我们将介绍方法的pipeline和FastFlow的架构，如图2所示。首先建立了无监督异常检测的问题定义，并介绍了基于表示方法的可学习概率密度估计模型的基本方法。然后分别对特征提取器和FastFlow模型进行了详细描述。

3.1 Problem Definition and Basic Methodology

无监督异常检测也称为one-class分类或out-of-distribution检测，需要模型来判断测试图像是正常还是异常。异常定位需要一个更细粒度的结果，给出每个像素的异常标签。在训练阶段，只观察到正常图像，但在 测试中正常图像和异常图像同时出现。主流方法之一是基于表示的方法，即从正常图像或正常图像patch中提取判别特征向量，构造分布，并根据测试图像的embedding与分布的距离计算异常得分。该分布的典型特征是:正常图像的中心为n-sphere，正常图像呈高斯分布，或者从KNN中获得存储在存储库中的正常embedding聚类。
(为了看得清楚，另起一段来写)
\qquad 在提取训练数据集$D=x_1$