CVPR'24 | 自适应工业缺陷检最强SOTA!-CSDN博客

点击下方卡片，关注「3D视觉工坊」公众号

选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：dddvision，备注：缺陷检测，拉你入群。文末附行业细分群

扫描下方二维码，加入3D视觉技术星球，星球内汇集了众多3D视觉实战问题，以及各个模块的学习资料：最新顶会论文、书籍、源码、视频（近20门系统课程[星球成员可免费学习]）等。想要入门3D视觉、做项目、搞科研，就加入我们吧。

论文题目：RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection

作者：Ximiao Zhang, Min Xu等

作者机构：College of Information and Engineering, Capital Normal University等

论文链接：https://arxiv.org/pdf/2403.05897.pdf

代码链接：https://github.com/cnulab/RealNet.

这项工作介绍了RealNet，它是一个用于异常检测的特征重构网络，具有真实合成异常和自适应特征选择的能力。RealNet包含三个关键创新点：一是Strength-controllable Diffusion Anomaly Synthesis (SDAS)，一种基于扩散过程的合成策略，可以生成具有不同异常强度的样本；二是Anomaly-aware Features Selection (AFS)，一种选择具有代表性和区分性的预训练特征子集的方法，以提高异常检测性能；三是Reconstruction Residuals Selection (RRS)，一种自适应选择具有区分性残差的策略，用于全面识别多个粒度级别上的异常区域。实验结果表明，RealNet在四个基准数据集上取得了显著的改进。

读者理解：

本文介绍了一种名为RealNet的自监督异常检测框架，旨在利用预训练模型进行异常检测。该框架包括三个关键组件：SDAS、AFS和RRS，分别用于生成合成异常样本、选择关键特征和筛选重建残差。通过这些组件的协同作用，RealNet能够在异常检测任务中取得显著的性能提升。作者通过在多个数据集上进行实验证明了RealNet的有效性和可靠性，展示了其在实际应用中的潜力。整体而言，本文提出的RealNet框架为自监督异常检测领域带来了新的思路和方法，对该领域的研究具有一定的指导意义。

1 引言

这项工作介绍了RealNet，它是一个用于工业图像异常检测的特征重构网络，具有实现真实合成异常和自适应特征选择的能力。RealNet采用了Strength-controllable Diffusion Anomaly Synthesis (SDAS)策略，可以生成更接近自然分布的多样化异常样本，并提供了控制异常强度的灵活性。此外，RealNet还引入了Anomaly-aware Features Selection (AFS)和Reconstruction Residuals Selection (RRS)两种方法，有效利用了大规模预训练CNN的区分能力，减少了特征冗余和预训练偏差，从而提高了异常检测性能。通过在四个数据集上进行评估，RealNet在同一组网络架构和超参数的情况下，超越了现有的最先进方法。此外，研究人员还提供了Synthetic Industrial Anomaly Dataset (SIA)，该数据集包含了360,000个来自36个工业产品类别的异常图像，可用于异常合成，以促进自监督异常检测方法的研究。

本文贡献：

提出了RealNet，一种特征重构网络，通过自适应选择预训练特征和重构残差，有效利用多尺度预训练特征进行异常检测。RealNet在解决先前方法所遭遇的计算成本限制的同时，实现了最先进的性能。
引入了一种名为Strength-controllable Diffusion Anomaly Synthesis（SDAS）的新型异常合成策略，它生成与自然分布紧密相关的逼真多样化的异常样本。
在四个数据集（MVTec-AD，MPDD，BTAD和VisA）上评估了RealNet，使用相同的网络架构和超参数在数据集之间超越了现有的最先进方法。
提供了合成工业异常数据集（SIA）。SIA由SDAS生成，包含来自36个工业产品类别的共计360,000个异常图像。SIA可方便地用于异常合成，以促进自监督异常检测方法的发展。

2 方法

本节介绍了RealNet的方法，包括三个关键组件：Strength-controllable Diffusion Anomaly Synthesis (SDAS)、Anomaly-aware Features Selection (AFS)和Reconstruction Residuals Selection (RRS)。

2.1 强度可控扩散异常合成

本节介绍了RealNet中的一个关键组件，即Strength-controllable Diffusion Anomaly Synthesis（SDAS）。SDAS利用Denoising Diffusion Probabilistic Models（DDPM）来生成接近自然分布的多样化异常样本，并通过控制异常强度来实现灵活的异常合成。具体来说，SDAS首先训练一个扩散模型来学习正常图像的分布，然后通过引入额外的扰动来生成异常图像。生成的异常图像可以与正常图像进行图像混合，从而用于训练异常检测模型。通过实验，SDAS生成的异常图像具有较高的连续性和逼真性，可以有效地用于异常检测任务。

2.2 异常感知特征选择

在本节中介绍了RealNet中的Anomaly-aware Features Selection（AFS）模块，这是一个用于预训练特征选择的自监督方法。AFS通过选择最具代表性和区分性的特征子集来降低特征维度、消除预训练偏差，并控制重构成本。AFS首先定义了一组三元组，包括异常图像、正常图像和异常蒙版。然后，对预训练网络的特征图进行评估，选择最适合重构的特征图。AFS在每一层的预训练特征上分别执行，最终得到选定的多尺度特征。与传统方法相比，AFS减少了层内的特征冗余，增强了特征的代表性和区分性，提高了异常检测性能，并灵活地控制了模型大小和计算成本。

2.3 重建恢复选择

在这部分介绍了RealNet中的重构残差选择（RRS）模块。该模块通过选择包含最多异常信息的重构残差子集，从而提高了异常检测的召回率。首先，对低分辨率的重构残差进行全局最大池化（GMP）和全局平均池化（GAP），以获取全局重构残差E(An)。然后，从E(An)中选择具有最高最大值和平均值的TopK重构残差，形成Emax(An, r)和Eavg(An, r)。最后，将Emax(An, r/2)和Eavg(An, r/2)连接起来形成ERRS(An, r)，并将其输入到鉴别器中，以获取最终的异常分数。通过这种方式，RRS能够有效地捕获各种尺度的异常，提高了异常检测的性能。

2.4 合成工业异常数据集

为了方便重复使用由SDAS生成的异常图像，作者构建了合成工业异常数据集（SIA）。SIA包含来自四个工业异常检测数据集的36个类别的异常图像，包括MVTec-AD、MPDD、BTAD和VisA。作者为每个类别生成了10,000张分辨率为256×256的异常图像，异常强度s均匀采样在0.1和0.2之间。SIA可以方便地用于合成异常图像，并且可以作为广泛使用的DTD数据集的有效替代品。

3 实验

在实验部分，作者对提出的RealNet模型进行了广泛的评估和实验验证，主要包括了四个数据集：MVTec-AD、MPDD、BTAD和VisA。实验评估了RealNet在图像级别异常检测和定位上的性能，使用了Area Under the Receiver Operator Curve (AUROC)、Pixel AUROC和Per Region Overlap (PRO)等指标。实验中使用了WideResNet50作为Backbone，并对网络架构和超参数进行了一致的设置，没有针对单个类别进行特定调整。实验结果表明，RealNet在各个数据集上均取得了优异的性能表现，特别是在MVTec-AD数据集上，Image AUROC达到了99.65%，Pixel AUROC达到了99.03%，PRO得分为93.07%。同时，RealNet在像素级别上展现出了卓越的异常定位能力，能够有效识别不同尺度上的各种异常模式。实验结果还表明，RealNet在多个数据集上的表现均优于当前流行的异常检测方法，包括基于深度特征嵌入的方法（如PatchCore和SimpleNet）以及基于NF的方法（如FastFlow）。作者还进行了消融实验，验证了RealNet中各模块的有效性，结果表明AFS和RRS模块对于RealNet性能的提升至关重要。最后，作者提出了合成工业异常数据集（SIA），为SDAS生成的异常图像提供了复用的可能性。

4 总结

本工作提出了RealNet，这是一个自监督异常检测框架，包括Strength-controllable Diffusion Anomaly Synthesis (SDAS)、Anomaly-aware Features Selection (AFS)和Reconstruction Residuals Selection (RRS)三个核心组件。这些组件相互配合，使RealNet能够有效利用大规模预训练模型进行异常检测，并保持较低的计算开销。实验结果表明，RealNet在处理各种现实世界异常检测挑战方面表现出色。

这里给大家推荐一门我们最新的课程《工业深度学习异常缺陷检测实战》

课程亮点

本课程重点分析讲解工业领域的难点，包括了小缺陷检测，超大图小缺陷检测，对比度不明显的缺陷检测、以及少样本的缺陷检测等工业难点，并给出相应的案例解决方案。除此之外，本课程还简单介绍pytorch 框架和opencv 基础功能，以及各种工业算法中的评价指标和CV大模型在工业场景中的简单应用，拓展丰富大家做项目的思路。

小目标检测案例：