工业缺陷检测深度学习方法综述

其被广泛地应用 于无人质检、智能巡检、质量控制等各种生产与运维场景中.

一.工业缺陷检测的背景与特点

工业 缺陷检测面临着诸多难点:缺陷样本匮乏、缺陷的可视性低、形状不规则、类型未知等,

直接使用异常检测 方法难以满足工业缺陷检测的任务需求.

二.介绍工业缺陷检测问题的定义,分析研究难点与挑战

异常：点异常、 上下文异常和集群异常。

点异常：又称为离群值 (outliers)[9], 描述数值上偏离正 常样本的独立数据。与异常相近的概念还包括新颖点(novelty)和分布外数据。

上下文异常：同样描述数据点,其数值属于正常范围,但不符合局部上下文规律。

集群异常：描述一系列相关数据的集合,集合中的每一个实例的数值在单独考察时都处于正常值域,但集 合整体的相关性特征不服从正常模式。

一般的图像异常检测往往仅需区分正常与异常样本,而工业缺陷检测更关注于检测 图像中的异常像素.

虽然缺陷通常属于未知模式,但仍然可以从已有的缺陷样本中发现一定的共性,因此总结缺陷与 背景的类型有助于针对性地设计检测方法.

工业视觉缺陷检测任务一般包括分类和定位.

定位任务的目标是找到缺陷在图像 中的具体区域,根据缺陷区域的描述方式可分为检测(检测框)与分割(像素级).

难点：

1.数据难点：样本匮乏.未知性与主观性.可视性低.种类繁多.背景复杂.

2.任务挑战：高精度.低开销.

三.基于3种任务设置介绍近年主流的工业缺陷检测方法

主要从三个角度讨论：数据增强与合成为数据贪婪的检测模型提供足够的训练集；

模型压缩与加速技术面向落地使用中的低 存储开销与实时性需求;

阈值设置旨在找到推理阶段最合适的分类边界.

缺陷模式已知：

一般采用有监督深度学习方法,需要充足而精确的样本标注,可以从分类、检测与分割3种角度进行 方法设计.大部分缺陷的类型已事先经过专业的统计与归纳,因而在方法设计时可 以利用缺陷的特征直接检测,或者利用先验知识搜集、标注数据集来训练模型

传统方法简述：

主要依据缺陷颜色、形状等特征,利用图像处理方法或结合传统机器学习方法进行检测，难点之一在于如何对缺陷进行描述，当面对复杂无规则的数据时,传统方法不仅难以应 用, 还可能需要复杂的后处理过程

深度学习方法：

这些方法大多是将已有的通用目标的分类、检测、分割模型应用于工业场景,并根据实际情 况中缺陷的微弱性与模型的速度需求进行微调。有监督的方法可以解决缺陷多分类的问题,适合于大部分缺陷的类型已知或缺陷特点鲜明的情况. 尽管需要高昂的标注成本,但是此类方法在样本充足的情况下具有优良的性能,并已在部分实际应用 中检验了方法的有效性.现有方法在简单规则的工业场景中已较为成熟,而对于复杂背景及无规则微 弱缺陷的检测仍有发展空间. 然而,面对样本匮乏、缺陷模式未知的情况时,有监督方法本身依然存在 不足。

缺陷模式未知：一般采用无监督深度学习方法构造比较对象.

根据比较对象维度的不同, 可分为在图像维度与在特征维度比较相似度,并基于方法的原理进一步细分.

传统方法简述：

传统方法主要依靠正常样本呈现出的图像特征进行比较,或基于传统机器学 习模型对正常样本进行描述. 对于不同的背景,存在相应合适的方法。

当各个样本在对应的非缺陷部位高度一致,仅在缺陷区域存在差异时,模板匹配法可以基于两图 之差简单快速直接地实现缺陷的定位.

对于更加复杂的数据,基于一类分类模型的方法将正常样本映射到特征空间使之聚集,构建超平 面[64] 或超球面[65] 对样本边界进行描述.

对于存在周期性结构或规律性分布的正常图像, 可采用基于统计的方法,

深度学习方法：

(1) 基于图像相似度的方法：

基于图像相似度的方法在图像像素层面进行比较,其核心思想是重建出与输入样本最相近的正常 图像, 两者仅在缺陷区域存在差别.

(i) 基于图像重建的方法：基于图像重建的方法仅在正常样本上训练模型,使其学习到足以用来 重建出正常样本的分布特征.

(ii) 基于图像恢复的方法.

基于图像恢复的方法将缺陷视为噪声, 将图像恢复视为去噪过程. 此 类方法的核心思想是在正常图像上加入缺陷后,训练网络模型将其恢复为对应的原始图像.常用的模 型包括AE和U-Net 等. 训练完成后,模型具有根据上下文消除缺陷的能力. 测试阶段利用恢复图像 和输入图像的重建误差进行缺陷分割. 由于模型的输入与输出不对等,此类方法能一定程度上避免恒 等映射的问题.

如何设计用于构造缺陷图像的变换方式是此类方法的核心问题之一.

(2) 基于特征相似度的方法：

基于图像相似度的方法非常直观,具有较强的可解释性. 然而,现有方法往往难以实现理想的重 建效果.例如,重建图像的像素可能未与输入图像对齐,重建过程还可能同时改变图像的风格,这些偏 差都会导致检测错误,限制了检测的性能.此外,像素层面的比较容易受到噪声干扰,导致检测的鲁棒 性不佳. 对此, 研究人员将目光投向特征空间, 通过比较高维特征以实现更加鲁棒的检测.

(i) 深度一类分类.

深度一类分类方法利用深度神经网络构造质量更高的特征空间,然后构造分 类界面, 其主要框架如图7(c)所示. 在训练时通过神经网络提取正常图像的特征,并让提取出的正常 图像的特征向量尽可能地分布紧凑, 从而在特征空间构建描述正常特征边界的分界面; 测试时,模型 提取待测样本的特征并映射到上述特征空间,根据分界面判断测试样本是否为异常.

(ii) 特征距离度量.

深度一类分类方法需要找到合适的子空间与分界面,然而这对于复杂数据而 言是困难的. 特征距离度量的方法无需优化分界面,而是在特征空间匹配相应的“正常模板”,直接与 待测样本的特征比较. 因此,合适的特征表达至关重要.单纯使用正样本训练的特征提取器虽然可以 学到正常样本的共性特征,但是却无法学到缺陷的特征,导致模型不具区分性.

少量缺陷标注：

根据具体的数据标注情况,分别采用小样本、半监督和弱监督等新兴方法来处理

1 小样本学习

(1) 网络优化.

(2) 数据扩增.

(3) 知识迁移.

2 半监督学习

3 弱监督学习

4 自监督学习

基于图像复原的方法

基于缺陷合成的方法

基于图像变换的方法.

辅助技术：

1 数据增强与合成

2 模型压缩与加速

3 阈值设置

最大缺陷分数法.

p 分位数法.

k-Sigma 阈值法.

最大缺陷面积法.

数据集与性能评估

1 常用数据集

2 评价指标

2.1 分类指标

2.2 分割指标

3 性能评估

四.总结与展望