What Makes a Good Data Augmentation for Few-Shot Unsupervised ImageAnomaly Detection?

摘要：

在工业应用中，由于商业竞争和样本收集困难等因素，阳性样本的可用性通常受到限制，因此数据增强是一种很有前途的无监督异常检测技术。本文研究了如何有效地选择和应用数据增强方法进行无监督异常检测。通过实验系统地研究了各种数据增强方法对不同异常检测算法的影响。

实验结果表明，不同的工业图像异常检测(IAD)算法的性能不受所采用的特定数据增强方法的显著影响，多种数据增强方法的组合并不一定会进一步提高异常检测的准确性，尽管在特定方法上可以取得优异的效果。这些发现为选择适合IAD不同需求的数据增强方法提供了有益的指导。

1 引言

巴拉巴拉，然后。

只有RegAD[9]是为数不多的更详细地研究数据增强方法对少射异常检测影响的作品之一，在两个IAD数据集上使用了四种数据增强方法。在本文中，我们对数据增强方法的作用进行了深入而广泛的研究。我们对3个IAD数据集应用了6个独立的数据扩充，并在11个IAD算法上进行了测试。对于训练图像的数量，我们分别选择1、2、4、8。我们总共进行了数千次实验，系统地总结了大量有意义的结论。我们的实验结果表明，没有一种单一的数据增强方法可以持续提高所有无监督IAD算法的性能。然而，我们将11种IAD方法细分为多个类别，分析表明，数据增强方法对类似IAD算法的影响趋于相似。此外，我们还探讨了结合不同的数据增强方法来增加训练数据的多样性和复杂性的效果，实验结果表明，混合数据增强的好处在很大程度上依赖于IAD方法。对于大多数方法，我们没有观察到使用多个数据增强后的显著改进。然而，在某些情况下，我们发现混合数据增强可以显著提高准确率。本工作的主要贡献可以概括如下:

我们在3个基准数据集上测试了6种数据增强方法和11种图像异常检测方法，总共得到了6688个实例。此外，我们还提出了一种即插即用的模块化实现方法，实现了少弹IAD评估的数据增强，这对未来少弹IAD评估的发展有很大的帮助。

•我们的研究强调，数据增强方法的最佳选择取决于所采用的具体方法。有趣的是，我们发现可比较的IAD算法通常对各种数据增强方法的响应相似。

•我们的研究结果表明，结合多种数据增强方法的有效性大体取决于采用的具体IAD方法。此外，我们还确定了与混合数据增强兼容的IAD方法。

2 相关工作

异常检测方法有很多种，主要分为基于嵌入的[2,3,18]和基于重构的[28,32]两种。基于嵌入的方法又分为归一化流[18]、师生[2]、单类分类[24]和记忆库[3]四类。接下来，将详细介绍它们。

我就懒得粘贴了。。。

2.3数据增强

数据增强在少样本训练中起着重要的作用。它可以帮助模型从数据中学习到更多的特征，从而获得更好的效果。根据[29]，基于图像擦除的图像增强方法通常会删除图像中的一个或多个子区域，将这些子区域的像素值替换为常量或随机值。而图像混合数据增强主要是将多个图像或图像的子区域混合成一个图像。但是，这些数据增强方法不能用于工业产品的异常检测。（？？？为啥）

3 benchmark设置

图1说明了训练异常检测模型的数据增强过程。我们对一个图像应用不同的数据增强来生成多个增强图像。这些图像被用来训练模型学习数据的正常外观和特征。然后，我们可以将新图像馈送到训练模型并获得两个输出:表明图像异常可能性的置信度分数和突出显示图像中异常区域的掩码。

巴拉巴拉，懒得粘贴。主要就是做实验的设置，数据集、基线方法、我们的数据增强方法。

4 实验结果和分析

在本节中，我们旨在对数据增强对少样本IAD的影响进行全面系统的分析。我们探讨了几个研究问题，例如:数据增强如何影响不同类型IAD算法的性能?单独获得更好结果的数据增强方法在组合时是否也能提高准确性?是否所有的数据增强方法在不同的设置和场景中都表现出一致的效果?为了回答这些问题，我们使用了3.3节中描述的6个数据增强，3.1节中介绍的3个数据集，以及3.2节中提到的11种IAD算法，并进行了数千次实验。（牛pi，肝帝）

Key Takeaways (i)在所有IAD方法的数据增加方法中没有普遍的赢家。(ii)我们在表3中总结了每种IAD方法的最佳单一数据增强方法。(iii)对于基于内存库的方法，我们观察到对于图像级度量，混合数据增强明显优于单数据增强。

4.1. 单数据增强

如表1(a)、1(b)、1(c)所示，通过实验获得了大量的数据。在此数据集中，IAD算法的最佳和次佳数据增强分别用红色和蓝色标记。

理想情况下，我们希望看到表格中的一列由蓝色或红色单元格占主导地位，表明相应的增强方法始终优于其他方法。然而，在我们的结果中并非如此。相反，我们观察到不同的增强方法对不同的IAD方法有不同的影响。这表明没有一种单一的增强方法可以普遍适用于所有IAD方法。造成这种现象的一个可能原因是，不同的IAD方法具有不同的技术设计和机制，这些技术设计和机制可能与不同类型的数据转换产生不同的相互作用。因此，我们进一步将IAD方法根据其主要特征划分为几类，并研究类似方法是否对某些增强方法具有相似的偏好或敏感性。

正如我们在3.2节中所讨论的，我们将实验中评估的11种IAD方法分为五类:归一化流程、记忆库、学生-教师、一个班级和重建。这些分类基于每种方法使用的主要技术或原则，如表2所示。对于每一种IAD方法和每一种数据增强方法，我们计算了它们在所有数据集和所有射击数上的图像级AUC-ROC的平均改进，与没有数据增强的基线相比。我们观察到，在每一类IAD方法中，数据增强影响性能的方式有一定程度的一致性。

例如，对于Normalizing Flow方法，除了Perspective之外的所有数据增强方法都可以显著改善其结果。对于Memory Bank方法，尽管总体上改进不大，但Rotation和Flip可以持续提高这四种方法的性能。对于Student-Teacher方法，六种数据增强方法都有积极的效果，尤其是Flip和Color Jitter。然而，对于One-Class方法，不同的数据增强方法对不同模型和数据集的影响差异很大。旋转和翻转似乎对这一类别的大多数模型都很有效，但其他数据增强方法可能会产生不利影响。唯一的例外是基于重建的分类，其中FAVAE[5]在应用任何数据增强方法时精度都会下降，而DRAEM[32]则受益于透视和旋转。（感觉没啥规律）

4.2. 混合数据增强

懒得抄，巴拉巴拉，然后。

表4展示了混合数据增强在图像级AUC-ROC度量中优于最佳单一数据增强的改进。可以看出，混合数据增强仅在PatchCore上有更明显的提升[17]，在其他方法中甚至导致准确率下降。

4.3. 分析

对训练数据进行数据增强的主要目的是增加训练数据的多样性，使其更加与试验数据的分布相似。然而，从图2中我们可以看到，一些数据增强方法可能会以与测试图像不匹配的方式改变训练图像中对象的方向或外观。例如，对训练集中的牙刷图像应用Rotation和Flip后，牙刷可能会出现倒挂或侧边，这在测试集中是不太可能发生的。因此，对于大多数IAD方法，同时使用多种数据增强方法可能没有好处，甚至可能损害其性能。但是，有两个例外:PaDiM[4]和PatchCore[17]。这两种方法不依赖于图像的全局形状或结构，而是依赖于图像的局部补丁，如图2所示。即使通过数据增强对图像进行了变换，每个patch仍然与正常图像patch保持一定的相似性。然而，PaDiM对不同图像上相同空间位置的patch进行高斯拟合，并期望它们具有低方差。数据增强给这些补丁带来了更多的多样性和噪声，从而降低了PaDiM的性能。另一方面，PatchCore不关心补丁的空间位置和全局变化，只关注它们的局部特征。因此，数据增强对PatchCore的性能几乎没有负面影响，甚至可以通过生成更具挑战性的正常图像变体来进一步提高它。

为了更深入地了解PatchCore[17]是如何工作的，并验证我们之前的说法，我们使用Mvtec AD数据集进行了一个实验。我们将一个类的所有训练图像、随机选择的四张少量训练图像及其增强版本输入到PatchCore中，提取所有patch的嵌入。然后，我们使用t-SNE[25]将所有嵌入的维数降为2，并在图3中可视化它们。我们可以观察到，来自少数镜头图像的嵌入非常稀疏，并且只覆盖了完整训练数据所跨越的特征空间的一小部分区域。然而，在对这些图像进行数据增强后，它们的嵌入变得密集，覆盖了更大的特征空间区域。这表明数据增强可以有效地生成更多样化和逼真的补丁，从而提高PatchCore的少射IAD的性能。

图4显示了一些使用仅使用4张训练图像混合数据增强的PatchCore[17]在不同对象上的性能示例。我们可以看到，PatchCore不仅可以正确地将图像分类为正常或异常，而且可以精确地定位物体上的异常区域。这是因为数据增强得到的补丁嵌入与正常图像的补丁嵌入相似，在特征空间中形成紧密的聚类。因此，PatchCore可以很容易地将这些补丁与偏离本集群的异常补丁区分开来。因此，PatchCore不会出现误报，这意味着它不会错误地将正常区域标记为异常区域。

5. 结论

在本文中，我们对数据增强在少样本IAD中的作用进行了全面研究。我们在3个数据集上使用6种类型的数据增强方法评估了11种算法，并分析了它们的性能和特点。

实验结果表明，数据增强对不同的IAD算法有不同的影响，这取决于它们的基本原理和假设。然而，对于共享类似技术方法的算法，例如基于嵌入的方法，数据增强起着类似的作用。此外，我们还发现，虽然某些数据增强方法可以单独提高某一算法的性能，但将它们组合在一起可能没有好处，甚至可能降低异常检测的准确性。这是因为一些数据增强方法可能会对与测试图像不匹配的图像引入不现实的或不一致的变化。然而，PatchCore是一个例外，因为它只关注补丁的局部特征，而忽略了它们的空间位置或全局变化。混合数据增强不影响其准确性，而是通过生成更多样化和更具挑战性的正常图像来增强其准确性。