精读：Deep Industrial Image Anomaly Detection: A Survey

引子：

        通过考虑具有不同程度监督的神经网络结构的设计，本文对图像异常检测进行了深入的检查。对当前IAD算法的全面综述，总结了IAD的主要问题和潜在挑战，概述了未来工作的潜在研究方向。
        IAD的研究必须充分考虑工业制造业的要求， 具有挑战性的问题的总结：

• IAD数据集：应该从实际的生产线上收集，而不是从实验室中收集。由于隐私问题，公众无法访问现实世界中的异常数据集。大多数开源的IAD数据集从无异常的产品中生成异常。换句话说，来自开源IAD数据集的异常可能不会发生在实际的生产线中，这使得在工业制造中部署IAD非常具有挑战性。目前流行的IAD数据集，如MVTec AD [5]和MVTec LOCO [6]，由许多类组成，但不是多个域。为了模拟一个真实的制造过程，我们必须创建一个从多个域收集的新的IAD数据集。
• 评价指标：需要对IAD性能的图像级和像素级进行统一的评估。大多数IAD指标将异常掩模（groung truth）缩小为用于评估的特征图的大小，降低了评估的精度。此外，某些IAD方法在图像AUROC上表现良好，但在像素AP上表现不佳，反之亦然。因此，开发一个统一的度量标准来评估在图像和像素级别上的IAD性能是至关重要的。
• 损失函数：应该设计一个更有效的损失函数，用于标记数据的指导和未标记数据的探索。在实际的制造场景中，可用的异常样品数量有限。然而，大多数无监督IAD方法都优于半监督IAD方法。通过观察半监督IAD的失败，我们需要更多地关注特征提取和损失函数，它既可以有效地对标签指导，也可以用于对未标记数据的探索。针对上述关键问题，改进异常样本的特征提取和重新设计偏差损失函数，可以充分利用异常标记，使异常样本的特征空间偏离正常样本的特征空间。

1.无监督方法

        目前的研究主要集中在无监督的异常检测上，基于收集异常样本会产生大量的人力和财务成本的假设，训练集中只包含正常样本，而异常样本和正常样本都包含在测试集中。工业图像中的异常检测是分布外问题的一个子集。在深度学习兴起之前，差分检测和滤波经常被用于检测工业图像中的异常。随着MVTec AD的发布，工业图像的异常检测方法可分为两类：特征嵌入和基于重构。目前，越来越多的AD技术都是基于特征嵌入的。

1.1 基于特征嵌入的方法

1.1.1 Teacher-Student Architecture（师生架构）

        教师模型：在大规模数据集上预先训练过的骨干网络的部分层作为固定参数。
        在训练过程中，教师模型向学生模型传授提取正常样本特征的知识。
        在推理过程中，教师网络和学生网络从测试集中提取的正常图像的特征具有可比性，而从测试集中提取的异常图像的特征是相当明显的。通过比较两个网络生成的特征图，可以生成相同大小的异常得分图。然后，通过将异常得分图放大到与输入图像相同的比例，可以得到不同输入图像位置的异常分数。根据该模型的合理性，可以确定测试图像是否异常。

方法	描述
Uninformed Students	首次设计了一种利用师生模型解决异常检测问题的基本方法。
MKD, STPM	使用多尺度特性进行蒸馏，它们的方式不同。学生网络提取的正常样本特征与教师网络提取的正常样本特征更相似，异常样本特征更不同。MKD中较轻的学生网络结构表现优于与教师网络相同的学生网络结构。
RSTPM	基于STPM，采用两对师生网络进行特征重构，新教师网络在原师生网络之后，负责重新创建特征
RD4AD	多尺度特征融合块和单类瓶颈形成嵌入，用于消除多尺度上的冗余特征，使单对师生网络能够有效地进行特征重构
AST	提出了一种非对称师生架构，解决相同结构的师生模型提取的异常图像特征具有显著的相似性的问题；引入一个归一化流程，防止由于两个网络结构的不一致而引起的估计偏差；上下文相似损失(CSL)和自适应硬样本挖掘(AHSM)模块，信息知识精化(IKD)，减少师生结构异常检测方法由于神经网络容量与知识量不一致而存在过拟合问题。

1.1.2 One-Class Classification（OCC更多地依赖于异常样本）

        即看作单分类问题，如果生成的异常样本质量较差，则该方法的性能将受到严重影响。（寻找一个特征边界区分正常异常样本）

1.1.3 Distribution Map

        基于分布图的方法需要一个合适的映射目标进行训练，映射方法的选择影响模型的性能.（主流方法：基于正常化流(NF)的方法）
        与occ的方法相似，不同之处：基于映射的方法试图将特征映射到所需的分布。这些方法的通用框架如图4所示。这个期望的分布通常是一个多变量高斯(MVG)分布。
        方法：

1. 首先采用强大的预训练网络来提取正常图像的特征
2. 然后使用映射模块将提取的特征映射到高斯分布。
3. 根据偏离程度来计算异常概率。（在评估过程中出现的异常图像的特征会偏离这个分布）
   

1.1.4 Memory Bank（最有效的）

        基于Memory Bank的方法通常：不需要损失函数进行训练，模型可以快速构建。性能是由一个健壮的预训练网络和额外的内存空间来保证的，这种类型的方法目前在IAD任务中是最有效的。
        需要额外的内存空间来存储图像特征：将采集到的法向图像特征进行映射，进行推理。在推理过程中，将测试图像的特征与内存中的特征进行比较。测试图像的异常概率等于与内存库中正常特征的空间距离。

        PatchCore：IAD的重大进步，极大地提高了MVTec AD的性能。PatchCore包含两个特殊点。首先，PatchCore的内存银行是coreset-subsampling，以确保低推理成本，同时最大化性能。然后，PatchCore根据测试样本内存库中最近的邻居特征与其他特征之间的距离判断测试样本是否异常。这个重新加权的过程使PatchCore更加健壮。

1.2 Reconstruction based Methods（基于重构的方法）

        基于重构的方法主要是自训练编码器和解码器来重构图像进行异常检测，这使得它们减少了对预训练模型的依赖，提高了它们检测异常的能力。但由于无法提取高级语义特征，导致其图像分类能力较差。
        在训练过程中，将正常或异常的图像发送到重构网络，并利用重构损失函数来指导重构网络的训练。最后，重建网络可以以与原始正常图像相似的方式恢复重建图像。在推理阶段，比较模型将原始图像与重建图像进行比较，生成预测。
        大多数基于重构的方法只是在重构网络的构建上有所不同.
基于重建的方法在像素级上优于特征嵌入方法，因为它们能够通过像素级的比较来识别异常。此外，大多数基于重建的方法都是从头开始训练的，而没有使用鲁棒的预训练模型，这导致了性能不如图像级的特征嵌入。

1.2.1 Autoencoder（自编码）

        自动编码器（AE）是AD最普遍的重建网络。许多其他的重建网络也由编码器和解码器组件组成。

1.2.2 Generative Adversarial Networks（GAN网络）

1.2.3 Transformer

        Transformer具有较高的全局信息表示能力，使其具有超越AE的潜力，成为一种新的异常检测重构网络基础。

1.2.4 Diffusion Model（扩散模型）

        扩散模型是近年来流行的一种生成模型，也可用于基于重构的异常检测。

2.监督异常检测

        一些研究的重点是如何使用少量的异常样本和大量的正常样本来训练模型进行异常检测。

3.工业制造设置

        介绍了更适合于工业场景的分类标准或应用程序设置，即小样本异常检测、噪声异常检测和三维异常检测。

3.1 Few-shot Anomaly Detection（FSAD：小样本异常检测）

        小样本异常检测（FSAD）仍处于起步阶段。在FSAD中，有两个设置。第一个设置是元学习（meta-learning），该设置需要大量的图像作为元训练数据集。

3.2 噪声异常检测

        噪声学习是异常检测的一个经典问题。
        （Tan等人[130]采用了一种新的信任区域存储器更新方案，使噪声特征点远离存储器库。Yoon等人。[131]使用一种数据细化方法来提高单类分类模型的鲁棒性。Qiu等人[132]提出了一种在未标记异常情况下训练异常探测器的策略，该策略与广泛的模型兼容。它们综合创建标记异常，并与正常数据和合成异常数据共同优化损失函数。Chen等人[133]引入了一个插值高斯描述符，它学习一个用逆插值训练样本训练的单类高斯异常分类器。）上述的大多数方法都没有在真实的工业图像数据集上得到验证。换句话说，现有的异常检测方法的有效性可能不适用于工业制造。

3.3 3D异常检

        自MVTec 3D-AD [6]数据集发布以来，已有几篇论文主要关注三维工业图像中的异常检测。大多数的3D IAD方法都是专门用于RGB-D图像的。而现实世界工业制造业中的3D数据集是由点云组成的，这意味着目前的3D IAD方法不能直接部署在工业制造业中。然而，3D IAD仍有机会。

4.数据集和评价指标

5.Total Performance Analysis（总分析）

        表9显示了MVTec AD上当前IAD性能的统计结果。我们对当前的IAD方法的性能进行了深入的分析，并揭示了以下有意义的见解：

• 对于图像级异常检测任务的识别，基于Memory Bank的方法是最有效的神经网络设计，但在检测像素级异常方面是不够的。
• 集成学习可以显著提高现有的异常检测方法的性能。
• SSPCAB [87]可以无缝集成到尖端方法中，显著提高了基于重构的方法的性能。
• 小样本IAD和一般的IAD之间的差距正在缩小。换句话说，我们可以利用数据蒸馏算法来降低用于异常检测的数据集的数量。

6.Future Directions

• 建立一个多模式的IAD数据集。在实际的装配线中，RGB图像不足以检测异常。因此，我们可以使用额外的模式信息，如x射线和超声波，以提高异常检测性能。
• 测试样本是在产品线上按顺序流式传输的，大多数IAD方法都不能在新的测试样本到达时做出即时预测。在工业制造业中，除了IAD的准确性外，还应该考虑到它的推理速度。因此，采用多目标进化神经结构搜索算法（multi-objective evolutionary neural architecture search algorithms）来寻找最优的权衡结构是一种很有前途的方法。
• 大多数IAD方法使用ImageNet预训练模型从工业图像中提取特征，这不可避免地导致了特征漂移问题。因此，迫切需要为工业图像建立一个预先训练好的模型。
• 之前，我们专注于开发正常图像的数据增强方法。然而，对于通过数据增强来合成异常样本并没有做多少努力。在工业制造中，由于大多数生产线都是无故障的，因此很难收集到大量的异常样品。因此，今后应更加注意异常的合成方法，如CutPaste。

7. 总结

        在本文中，提供了一个文献回顾图像异常检测在工业制造业，关注监督方式，神经网络结构，数据集的类型和属性和评价指标。

1. 描述了来自工业制造的新设置，
2. 回顾了提出的新设置中当前的IAD算法，
3. 还深入研究了哪些网络架构设计可以显著提高异常检测性能，
4. 我们强调了图像异常检测的几个令人兴奋的未来研究方向。