工业缺陷检测深度学习方法

工业缺陷检测深度学习方法

基于深度学习的工业缺陷检测方法可以降低传统人工质检的成本, 提升检测的准确性与效率, 因而在智能制造中扮演重要角色, 并逐渐成为计算机视觉领域新兴的研究热点之一. 其被广泛地应用 于无人质检、智能巡检、质量控制等各种生产与运维场景中. 本综述旨在对工业缺陷检测的任务定义、 难点、挑战、主流方法、公共数据集及评价指标等进行全面归纳, 以帮助研究人员快速了解该领域. 具 体而言, 本文首先介绍工业缺陷检测的背景与特点. 接着, 按照实际数据标注情况, 划分出缺陷模式已 知、缺陷模式未知与少量缺陷标注 3 种研究任务设置, 并根据方法类型作进一步归纳与分析, 探讨了 各方法的性能优劣与适用场景, 阐明了方法与实际应用需求的关联性. 此外, 本文还归纳了方法部署 中的关键辅助技术, 总结了现有方法在实际产业落地中存在的局限性. 最后, 本文对该领域未来的发 展趋势和潜在研究方向进行了展望.

http://scis.scichina.com/ssi2022.html#526

引言

大到飞机机翼, 小到芯片晶粒, 工业制品在现代社会中无处不在. 工业缺陷检测, 旨在发现各种工 业制品的外观瑕疵, 是保障产品质量、维持生产稳定的重要技术之一. 以往的缺陷检测需要人工筛查, 成本高、效率低, 难以覆盖大规模的质检需求. 近年来, 随着工业成像、计算机视觉和深度学习等领域 的新技术层出不穷, 基于视觉的工业缺陷检测技术得到了长足的发展, 成为了针对产品外观质检的一 种有效的解决方案, 引发了学术界和工业界的强烈关注. 工业缺陷检测不仅可以用于检测各种工业制 品, 如金属、纺织物、半导体等, 而且具有优秀的检测精度与效率, 还能提供简便、安全的操作环境. 因 此, 工业缺陷检测已成为智能制造领域重要的基础研究与技术之一, 并被广泛应用于无人质检、智能巡检、生产控制和异常溯源等场景. 《中国制造 2025》行动纲领指出, 建设制造强国任务艰巨而紧迫, 需要加速推进信息化与工业化的深度融合, 推进生产过程的智能化. 因此, 基于视觉的工业缺陷检测 不仅具有非常重要的研究价值, 同时也拥有广阔的应用前景. 然而, 相比于一般的目标检测任务, 工业 缺陷检测面临着诸多难点, 如, 缺陷样本匮乏、缺陷的可视性低、形状不规则、类型未知等, 导致许多 现有方法难以同时满足高精度、高速度的任务需求, 因此在实现落地应用的道路上依然存在大量问题 亟待解决.

由于工业缺陷可以视为工业产品的外观 “异常”, 因此也有部分工业缺陷检测方法采用了异常检 测的思路. 然而异常检测的定义与工业缺陷检测也有所区别. 具体而言, 异常检测的概念更加广泛与 抽象, 其中图像异常检测主要关注输入图像是否为异常实例, 而工业缺陷检测更关注像素层面的检出 任务. 在像素层面上, 异常与正常模式的差别更加细微, 检测难度也大幅增加. 因此直接使用异常检测 方法难以满足工业缺陷检测的任务需求.

近年来, 深度学习方法因其在处理背景复杂、缺陷微弱的工业图像时展现出卓越的性能优势, 逐 渐在该领域占据主导地位. 鉴于此, 本文对基于深度学习的工业缺陷检测方法进行综述, 旨在帮助研 究人员快速对该领域的任务设置、主流方法、评价体系等方面有系统性的了解. 由于该任务具有较强 的应用驱动性, 本文按照实际情况中数据样本的标注与使用情况, 划分出 3 种任务设置: 缺陷模式已 知、缺陷模式未知和少量缺陷标注. 特别地, 本文还归纳了促进方法落地的关键辅助技术, 其有助于提 升方法的实用性. 本文关注各方法间的共性与不同, 按照问题导向逐步剖析其发展脉络, 并结合领域 研究现状对未来发展趋势进行展望, 希望帮助研究者们开拓思路.

目前国内外的综述 [1∼5] 大多探讨广义的异常检测领域的方法, 试图涵盖图像、视频、表格和序列 等各种数据形式. 文献 [2, 3] 对基于深度学习的异常检测方法进行了综合性的归纳与分析, 但缺乏针 对工业场景的探讨. 文献 [6, 7] 虽然以工业生产为背景来综述, 但主要着眼于传统方法与系统控制. 文 献 [8] 对基于深度学习的表面缺陷检测方法进行了系统性的归纳, 但主要梳理有监督方法. 而近期, 基 于无监督、半监督等设置的研究同样涌现出许多新的成果, 但目前尚无相应针对工业缺陷检测领域的 全面而细致的综述文献. 因此, 本综述希望填补这一空缺, 并着重对此类新方法进行介绍与总结. 本文后续内容的组织如下: 第 2 节介绍工业缺陷检测问题的定义, 分析研究难点与挑战; 第 3 节 基于 3 种任务设置介绍近年主流的工业缺陷检测方法, 并按照方法的设计原理进一步归纳与分析; 第 4 节梳理针对实际部署的关键辅助技术; 第 5 节介绍常用的公开数据集与评价指标, 并比较典型方法 的性能; 最后, 第 6 节总结了当前研究的状况与局限性, 并对未来发展趋势与潜在研究方向进行展望.

2 问题定义与研究现状

2.1 问题定义

基于视觉的工业缺陷检测旨在发现