CVPR'24 | Real-IAD：全球首个多视角异常检测数据集

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

论文题目：Real-IAD: A Real-World Multi-View Dataset for Benchmarking Versatile Industrial Anomaly Detection

作者：Chengjie Wang, Wenbing Zhu等

作者机构：Shanghai Jiao Tong University等

论文链接：https://arxiv.org/pdf/2403.12580.pdf

数据链接：https://realiad4ad.github.io/Real-IAD/

这篇论文提出了一个名为Real-IAD的大规模、真实世界、多视角工业异常检测数据集，用于评估多样化工业异常检测方法。现有的数据集在主流数据集上已经达到饱和，方法之间的差异无法很好地区分，且对各种新的实际异常检测设置的研究受到数据集规模的限制。Real-IAD数据集包含30种不同物体的150K高分辨率图像，比现有数据集大一个数量级，具有更大范围的缺陷面积和比例，更具挑战性。为了使数据集更接近实际应用场景，采用了多视角拍摄方法，并提出了样本级评估指标。此外，还提出了一种新的完全无监督工业异常检测（FUIAD）设置。最后，报告了流行的IAD方法在Real-IAD数据集上的结果，提供了一个高度具有挑战性的基准，促进了IAD领域的发展。

读者理解：

这篇文章介绍了Real-IAD数据集的构建及其在工业异常检测算法评估中的作用。我认为这篇文章的贡献在于提出了一个更加具有挑战性和实用性的工业异常检测数据集，填补了现有数据集的不足。通过与现有数据集的比较和实验结果的分析，文章展示了Real-IAD数据集的优势和创新之处。该数据集的建立为工业异常检测算法的研究和应用提供了更加可靠的评估平台，有望推动该领域的进一步发展。

1 引言

这篇论文介绍了一个名为Real-IAD的新型真实世界工业异常检测数据集，旨在解决现有数据集的局限性，并促进工业异常检测领域的技术发展。该数据集包含30种不同类别的物体，每种物体有5个拍摄角度，总共包含150K高分辨率图像。Real-IAD数据集具有更大范围的缺陷面积和比例，对不同方法的性能差异进行了更好的区分，满足了各种IAD研究设置的需求。此外，论文还提出了一个基于Real-IAD数据集的完全无监督IAD设置，更贴近实际应用场景，只使用了大多数生产线的良率大于60%这一自然存在的约束，而不需要引入额外的手动注释。论文报告了流行的IAD方法在Real-IAD数据集上的表现，并提供了一个高度具有挑战性的基准，促进了异常检测领域的发展。

本文的贡献为：

• 提出了一个新的Real-IAD数据集，比现有主流数据集大十多倍。它包括30类物体，每类物体包含5个拍摄角度，总共有150K高分辨率图像。此外，Real-IAD呈现了更具挑战性的缺陷，具有更大范围的缺陷面积和比例，更好地区分了不同方法的性能，并满足了IAD的各种研究设置需求。

• 在Real-IAD数据集上构建了一个完全无监督的IAD设置，更贴近实际应用场景，只使用了大多数生产线的良率大于60%这一自然存在的约束，而不需要引入额外的手动注释。

• 报告了流行的IAD方法在Real-IAD数据集上的表现，并在几个设置中提供了一个高度具有挑战性的基准，促进了异常检测领域的发展。

2 Real-IAD数据集描述

2.1 数据采集与构建方式

本节介绍了Real-IAD数据集的构建方式。首先，通过购买和收集30种不同材料的物体，手动创建了各种类型的缺陷，包括缺失部分、污垢、变形、坑洞、损坏、孔洞、裂缝、划痕等。然后，使用五台摄像头从不同角度捕捉物体图像，其中一台摄像头从顶部拍摄，另外四台从对称角度拍摄。为了更好地成像并清晰捕捉细微缺陷，还安装了一个环形光源。采用了分辨率为3,648×5,472的HIKROBOT MV-CE200-10GC摄像头。最后，数据分为三组，分别使用级联RCNN进行监督训练，以确保数据集的准确性。通过这样的构建方式，Real-IAD数据集能够更好地反映实际应用场景，为工业异常检测领域的研究提供了重要的数据支持。

2.2  与流行的2D数据集比较

本节对提出的Real-IAD数据集进行了详细的统计分析，并将其与主流数据集MVTec AD和VisA进行了比较。与主流数据集相比，Real-IAD在类别数量上至少增加了2倍，并且在数量上有数量级的增加，即从10K增加到150K。此外，Real-IAD提供了分辨率高达2,000∼5,000的图像，以支持对更精细的异常检测算法的研究，其中包括从原始图像中裁剪。此外，每个物体都提供了来自不同角度拍摄的五幅图像，并带有分割标签，以支持多视图设置。数据统计显示，与对比数据集相比，Real-IAD在正常和异常数据方面有数量级的改进。同时，缺陷区域的比例和缺陷比例范围更大，表明数据集的难度水平更高，这也得到了表2中实验的证实。Real-IAD数据集具有以下优势：

1. 多样性：与现有数据集相比，Real-IAD数据集涵盖了更广泛的类别，提供了更丰富的场景，有助于训练更健壮的异常检测模型并进行公平评估。

2. 大规模：Real-IAD是第一个提供超过150K图像的数据集，与流行的IAD数据集相比有数量级的增加，同时还提供了带有像素级注释的多视图图像。

3. 挑战性：与现有数据集相比，Real-IAD具有更高的难度水平，可以推动当前异常检测算法的发展和进步。

2.3 Real-IAD可视化

本节展示了Real-IAD数据集的可视化信息。图示了Real-IAD包含了多种材料类型的数据，如金属、塑料、木材、陶瓷和混合材料，以及各种缺陷类型，包括坑洞、变形、磨损、划痕、损坏、缺失部分、异物和污染。缺陷区域和比例的范围也被展示出来，表明Real-IAD具有丰富的数据，具有很高的挑战性，有望推动工业异常检测领域的进一步发展。

3 评估

3.1 评估设置

本节介绍了针对Real-IAD数据集的评估设置。建立了两种评估协议，包括无监督IAD和完全无监督IAD，涵盖了Real-IAD数据集中的所有30个类别。无监督IAD（UIAD）：算法仅从正常样本中学习模式和结构。因此，大多数现有的异常数据集通常被分为训练集和测试集，其中训练集仅包含正常样本。相比之下，测试集包含正常和异常样本。遵循先前的研究，作者首先使用UIAD设置评估我们的Real-IAD。完全无监督IAD（FUIAD）：这种设置在实际的IAD中是不可避免的，但很少被讨论。由于现有数据集（如MVTec AD和VisA）中异常样本的数量有限，构建FUIAD设置是困难的。本文是第一篇从数据集构建的角度考虑FUIAD（即带有噪声的UIAD）。在Real-IAD中，大量且多样化的异常样本使我们能够灵活地构建FUIAD设置。为了创建一个FUIAD设置，首先需要确定包含正常和异常样本的测试集。在本文的实验中，正常和异常样本的数量被统一设定为100个样本（500张图像）。剩余的正常和异常样本将成为构建噪声训练集的候选集。作者保持训练集中样本总数不变，但正常和异常样本的相应数量会根据给定的噪声比例进行自适应调整。为了做到这一点，首先根据候选集的规模和噪声比例范围（例如[0.1,0.4]）推断出训练样本的数量。然后，从候选集中随机抽样正常和异常样本，构建具有特定噪声比率的训练集。通过这种方式，获得了几个新的完全无监督的基准，具有不同的噪声比率，称为α∈[0,1]。

3.2 评估指标

本节介绍了评估指标，其中AUROC是图像级别和像素级别异常检测最常用的指标。此外，还介绍了标准化区域重叠（PRO）和区域重叠曲线下面积（AUPRO）作为像素级别的指标。大多数IAD方法只评估图像和像素级别的异常检测，而RealIAD是第一个多视角异常检测数据集，因此除了评估图像和像素级别的性能外，还整合了多个视角的结果来评估样本级别的性能，更符合工业生产线上的指标评估。

4 总结

Real-IAD数据集的建立填补了现有数据集的不足，提供了更具挑战性和实用性的工业异常检测研究平台。该数据集包含150k高分辨率图像，涵盖30种不同材料的物体，每个物体包含5个不同视角和8种常见缺陷。通过建立无监督和全面无监督两种评估设置，Real-IAD为异常检测算法的广泛应用提供了全面的评估和测试。这一工作有望推动异常检测领域的进一步发展，使算法更加贴近实际应用需求。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊交流群

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

▲长按扫码添加助理

3D视觉工坊知识星球

3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

▲长按扫码加入星球

3D视觉工坊官网：www.3dcver.com

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。

▲长按扫码学习3D视觉精品课程

3D视觉相关硬件

图片	说明	名称
	硬件+源码+视频教程	精迅V1(科研级)）单目/双目3D结构光扫描仪
	硬件+源码+视频教程	深迅V13D线结构光三维扫描仪
	硬件+源码+视频教程	御风250无人机(基于PX4)
	配套标定源码	高精度标定板(玻璃or大理石)
添加小助理：cv3d007或者QYong2014 咨询更多

— 完 —

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

3D视觉科技前沿进展日日相见 ~