全适用！即插即用！AnomalyDINO超快工业异常检测部署方案！

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0.这篇文章干了啥？

这篇文章提出了一种基于视觉的一次性和少次样本异常检测方法，称为AnomalyDINO。该方法利用了DINOv2提取的补丁表示之间的相似性。为了填充名义内存库，方法采用了零次分割和简单数据增强，并针对工业环境的需求进行了优化，以实现快速部署、易于调试和适应正常数据分布变化的能力。实验结果表明，AnomalyDINO在MVTec-AD数据集上取得了最先进的结果，并在VisA数据集上与所有竞争方法相媲美。该方法的简单性和性能使其成为工业异常检测的优秀选择，并为评估少量和全量样本异常检测提供了有效的基准。文章还探讨了进一步改进管道和应用的可能性，并强调了该方法的广泛影响，包括提高制造质量控制的效率、减少浪费、改善产品生命周期的安全性，以及在医疗保健诊断和环境监测等领域的应用潜力。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：AnomalyDINO: Boosting Patch-based Few-shot Anomaly Detection with DINOv2

作者：Simon Damm等

作者机构：Ruhr University Bochum等

论文链接：https://arxiv.org/pdf/2405.14529

2. 摘要

多模态基础模型的最新进展为少样本异常检测设立了新的标准。本文探讨了单凭高质量的视觉特征是否足以媲美现有的最先进视觉-语言模型。我们通过将DINOv2适用于一次和少样本异常检测，特别是工业应用领域，来确认这一点。我们的研究表明，这种方法不仅能够与现有技术媲美，甚至在许多情况下可以超越它们。我们提出的纯视觉方法AnomalyDINO基于补丁相似性，能够实现图像级异常预测和像素级异常分割。这种方法在方法论上简单且无需训练，因此不需要额外的数据进行微调或元学习。尽管方法简单，AnomalyDINO在一次和少样本异常检测中仍能达到最先进的效果（例如，将MVTec-AD上的一次性能从93.1%的AUROC提升到96.6%）。减少的开销加上其卓越的少样本性能，使AnomalyDINO成为快速部署的有力候选者，例如在工业环境中。

3. 效果展示

在MVTec-AD上进行掩码测试。虚线红色区域标记了属于感兴趣对象但被错误预测为背景的区域。

示例– MVTec-AD。从左到右依次显示了每个类别的测试样本（查询）、地面实况异常标注（GT）以及来自AnomalyDINO的1-和8-shot设置下的预测异常图。颜色编码按照“好”的测试样本（每个类别）上的最大分数进行了归一化。

“电缆”类别（MVTec-AD）中语义异常的示例。显示了一个正常参考样本，一个感知异常的示例（图5b），以及一个语义异常的示例（图5c），其中包括AnomalyDINO（1-shot）预测的异常图。

4. 主要贡献

• 我们提出了AnomalyDINO，这是一种简单且无需训练但非常有效的基于补丁的视觉异常检测技术。我们的方法基于DINOv2提取的高质量特征表示。

• 广泛的分析展示了所提方法的效率和有效性，超过了其他多模态少样本技术，从而缩小了少样本和全样本异常检测之间的差距。具体而言，AnomalyDINO在MVTec-AD上的少样本异常检测中实现了最先进的结果，例如，将一次检测的AUROC从93.1%提升到96.6%。此外，我们在VisA上的结果不仅与其他少样本方法竞争，而且在所有无需训练的少样本异常检测器中建立了新的最先进性能。

5. 基本原理是啥？

这篇文章利用深度学习模型（DINOv2）提取图像的补丁级特征，并通过比较测试图像的补丁与存储在记忆库中的正常补丁的距离来进行异常检测。文章主要解决的问题是在少样本和无需训练的情况下，如何有效地检测图像中的异常。

具体来说，文章首先利用DINOv2模型从图像中提取补丁级特征。然后，将正常样本的补丁特征存储在记忆库中。对于每个测试补丁，计算其与记忆库中最近的正常补丁之间的距离。通过聚合所有补丁的距离，得到整个图像的异常分数。文章提出了一种统计量q来计算图像级别的异常分数，该统计量考虑了最异常补丁的距离。

为了处理仅有少量正常样本的挑战，文章采用了简单的数据增强技术，如旋转，以增加正常样本的多样性。此外，还考虑了利用DINOv2进行遮盖操作，以便将图像中的主要对象与背景分离，从而改善记忆库的质量。

总体来说，文章的基本原理是利用DINOv2模型提取图像的补丁级特征，并通过衡量测试图像的补丁与正常补丁的距离来检测图像中的异常。这种方法在少样本和无需训练的情况下表现出色，适用于工业图像数据等场景。

6. 实验结果

本文的实验主要围绕AnomalyDINO方法在工业异常检测领域的性能展开，主要包括以下几个方面：

• 实验设定：使用了两个高分辨率图像数据集MVTec-AD2和VisA3进行实验，前者包含15个类别的物体和纹理，后者有十二个类别，每个类别包含多达1006个正常样本和不同类型的异常。实验考虑了图像级别检测和像素级别分割两个方面的性能评估。

• 实验指标：对于图像级别检测性能，使用了接收器操作特征曲线下的面积（AUROC）、最佳阈值下的F1分数（F1-max）和平均精度（AP）进行评估；对于像素级别分割性能，使用了AUROC、F1-max和像素级别的区域重叠（PRO）进行评估。

• 实验结果：在MVTec-AD数据集上，AnomalyDINO在各个k-shot（k ∈ {1, 2, 4, 8, 16}）设置下都取得了最先进的性能，超过了一些需要额外数据集训练的方法。在VisA数据集上，AnomalyDINO在k = 16的设置下取得了新的技术水平，与APRIL-GAN表现相媲美，并且在其他设置下也取得了次佳的结果。

• 比较其他方法：与现代零样本和少样本异常检测模型（如SPADE、PaDiM、PatchCode、WinCLIP+和APRIL-GAN）进行了比较。结果显示，AnomalyDINO在各种设置下表现出色，尤其在异常定位方面表现最佳。

• 设计选择的影响：进行了针对性的实验，评估了预处理、推理时间、聚合统计和模型规模等设计选择对性能的影响。结果显示，AnomalyDINO在简单性方面表现出色，甚至在大多数设置下都胜过其他方法。

总体而言，本文通过丰富的实验设计和细致的结果分析，展示了AnomalyDINO方法在工业异常检测领域的显著性能优势和实用性，为该领域的进一步研究和应用提供了有价值的参考。

7. 总结 & 未来工作

本文提出了一种基于视觉的一次性和少次样本异常检测方法。我们的方法基于DINOv2提取的补丁表示之间的相似性。我们精心设计了一种方法，通过零次分割和简单的数据增强来填充名义内存库，以获取多样化和相关的特征。工业环境要求快速部署、易于调试和纠错，并能够快速适应正常数据分布的协方差转移。通过其简单性和计算效率，我们的管道满足了这些要求。所提出的方法AnomalyDINO在MVTec-AD数据集上取得了最先进的结果，在VisA上与所有竞争方法相媲美，同时优于所有其他无需训练的方法。其简单性和强大性能使AnomalyDINO成为工业异常检测从业者的优秀选择，并为评估少量样本甚至全量样本异常检测提供了有效的基准。

后续研究方向 本文示例的具体管道侧重于简单性和高吞吐量。然而，我们管道的各个部分可以轻松地替换为更复杂的替代方案。例如，我们简单的遮罩方法可以被更专业和自适应的遮罩技术取代（这对于其他建立在DINOv2提取特征基础上的方法也可能是相关的），简单的上采样和平滑方法可以被更复杂的方法（例如Fu等人，2024年）替换，以从补丁特征中获得异常图。有趣的是，看看是否会导致异常检测和定位进一步改进，从而进一步缩小少量和全量样本异常检测器之间的差距。我们还计划改进AnomalyDINO的批量零样本性能。

更广泛的影响 推进少量样本视觉异常检测方法可以通过通过最小数量的名义示例快速识别缺陷来增强制造质量控制，从而提高效率，减少浪费，并改善产品生命周期的整体安全性，提供各种好处。类似的积极效果也可以在工业领域之外得到预期，例如用于医疗保健诊断或环境监测。然而，认识到自动异常检测系统的缺点是至关重要的。我们认为，简单的方法可以更快地适应，更有效地监控，因此更可靠。在这种情况下，必须提高对过度依赖风险的认识（请参见附录B，了解所提出方法的识别失败案例）。此外，强大的视觉异常检测器也可能导致潜在的恶意或意外使用。为了解决这些问题，包括潜在的隐私侵犯和自动化可能带来的潜在社会经济影响在内，建立健全的数据治理策略，实施严格的隐私保护措施至关重要。此外，投资于劳动力发展可以帮助管理自动化的社会经济影响，并充分利用强大的视觉异常检测的全部潜力。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊交流群

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

▲长按扫码添加助理

3D视觉工坊知识星球

3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

▲长按扫码加入星球

3D视觉工坊官网：www.3dcver.com

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。

▲长按扫码学习3D视觉精品课程

3D视觉相关硬件

图片	说明	名称
	硬件+源码+视频教程	精迅V1(科研级)）单目/双目3D结构光扫描仪
	硬件+源码+视频教程	深迅V13D线结构光三维扫描仪
	硬件+源码+视频教程	御风250无人机(基于PX4)
	硬件+源码	工坊智能ROS小车
	配套标定源码	高精度标定板(玻璃or大理石)
添加微信:cv3d007或者QYong2014 咨询更多

—  完  —

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

3D视觉科技前沿进展日日相见 ~