SurfaceDefectsDetectionBasedonAdaptiveMultiscaleImageCollectionandConvolutionalNeuralNetworks-论文阅读笔记

Surface Defects Detection Based on Adaptive Multiscale Image Collection and Convolutional Neural Networks

基于自适应多尺度图像采集和卷积神经网络的表面缺陷检测

//2022.7.7 下午14：23开始阅读笔记

论文地址

Surface Defects Detection Based on Adaptive Multiscale Image Collection and Convolutional Neural Networks | IEEE Journals & Magazine | IEEE Xplore

论文贡献

本文提出了一种新的基于卷积神经网络的自适应多尺度图像采集的表面缺陷检测算法。首先，使用ImageNet数据集对检测网络进行预训练。其次，建立了AMIC，它包括自适应多尺度图像提取和训练图像的轮廓局部提取。通过AMIC，训练数据集大大增加，图像的标签可以自动完成，而无需人工消耗。然后，使用从训练数据集建立的AMIC进行转移学习。最后，设计了一种嵌入该检测算法的大体积金属构件表面缺陷自动检测仪。对小型金属构件进行了实验，以分析参数的影响，并进行了对比实验。该方法对压痕、划痕和凹坑表面的检测精度分别为97.3%、99.5%和100%。实验结果证明了该方法在各种表面缺陷检测中的有效性。

论文内容

1.介绍

组件广泛应用于工业制造领域，如消费电子、航空车辆和汽车[1]。部件的表面质量直接影响最终产品的稳定性和耐久性。在表面处理过程、储存和运输过程中，金属部件可能会出现各种缺陷。例如，镀镍过程中的杂质和气泡可能会导致表面凹痕，不均匀和不当的存储可能会导致污渍，运输可能会导致划痕和凹痕。

为了生产高质量的部件，表面缺陷检测引起了制造领域[2]-[4]的高度重视。大多数制造公司仍然主要依靠人类感知进行质量控制。然而，人类感知有很多缺点，例如劳动力短缺加剧、耗时、一致性低[5]。为了克服这些局限性，开发了自动表面检测技术，以帮助人类做出决策或完全取代手动方法。

随着计算机系统和数码相机能力的不断增强，自动视觉检测系统广泛应用于各种表面检测，如轨道、光学元件、钢制品和屏幕玻璃[6]、[7]。摄像机拍摄的图像获得了许多重要信息。通过图像处理，可以检测和分类许多表面缺陷。李等人[8]提出了一种用于重要钢轨部件检查的自动视觉检查系统，包括拉杆、系板和锚固件。采用四台数码相机以16公里/小时的速度进行检查，帧速率为20帧/秒。该系统实现了较高的检查速度。然而，只有明显的缺陷才能成功检测到；它不适用于小的表面缺陷。在[9]中，报告了一种用于检查金属罐容器的实时机器视觉装置。在该系统中，他们将先验形状约束和熵率聚类相结合，对末端目标进行局部定位，并将其划分为不同的检测区域。然后，在每个区域检查相应类型的缺陷。该系统在没有任何人工协助的情况下执行表面检查，包括输入端口、输送机系统和分拣系统。陶等人[10]提出了一种大孔径光学元件表面检测仪。他们结合了暗场成像系统和亮场成像系统（BFIS），以兼顾效率和准确性。该系统主要用于大型物体，安装光学元件仍需要人工协助。这些报告的基于Vision的系统在特定对象的检查任务中表现良好；然而，它们不适用于大容量小型金属部件。

除了检测系统外，视觉检测和分类技术在最近几十年也有了很大的发展。报告的表面检查和分类方法可分为两类，即传统方法[11]和基于深度学习的方法[12]。在传统方法中，检查和分类分为两个单独的步骤。首先，缺陷地区是通过一些图像处理方法进行分割，如直方图曲线[13]和边缘检测[14]。然后，针对不同的分类器提取这些区域的特征，以实现最终分类。Hanzaei和Afshar[15]提出了一种局部方差算子的旋转不变测度，用于缺陷边缘检测。在填充和平滑检测区域后，提取几何特征，并使用多类支持向量机分类器识别缺陷类型。Borwankar和Ludwig[16]使用基于离散小波变换和旋转小波变换的变换算法进行特征提取，并使用k-最近邻分类器进行分类。传统方法的准确性主要取决于特征提取的精度。然而，根据人类经验选择的特征很难实现高精度。此外，这些方法需要根据特定任务进行定制。因此，它们很难推广。

近年来，深度学习技术得到了极大的发展，并在目标识别[17]、图像分类[18]等方面取得了显著的性能。为了克服传统检查方法的缺点，已经进行了许多研究，以应用深度学习来实现表面检查和分类任务[19]、[20]。在[21]中，使用光度立体图像数据集训练卷积神经网络（CNN），用于钢表面缺陷检测。然而，基于深度学习的检查的一个主要挑战是缺乏大规模带注释的数据集。为了解决这个问题，提出了迁移学习技术[22]、[23]。在这些方法中，使用源数据集进行网络预训练，并将权重传递给目标网络。当源域和目标域相似时，它们可以获得很大的性能改进。然而，当源图像和目标图像非常不同时，它就不那么成功了[24]。

综上所述，随着制造业的发展，对检测精度和效率都提出了更高的要求。然而，上述检查制度和方法仍存在许多问题。

1. 对于大容量小部件检查，没有专门的表面检查系统。

2. 传统的表面检测算法很难通过手动选择特征来实现高精度。

3. 缺乏足够的训练数据是基于深度学习的检查方法的主要挑战。

为了解决这些问题，提出了一种使用CNN和不同域数据集的转移学习的表面检测算法。

本文的目的是为大批量零件表面缺陷自动检测仪设计一种检测和分类算法。提出了一种基于CNN的自适应多尺度图像采集的表面缺陷检测和分类新算法。在所提出的AMIC方法中，建立了一种由自适应多尺度图像提取和训练样本轮廓局部提取组成的AMIC，作为数据增强。CNN使用ImageNet数据进行预训练。然后，使用已建立的AMIC数据执行转移权重的转移学习。综上所述，本文的主要贡献如下。

1） 提出了一种基于神经网络的表面检测和分类算法。提出了一种通过自适应多尺度提取和轮廓局部提取建立的AMIC。利用AMIC数据对神经网络进行训练，并在训练过程中采用转移学习和微调。

2）基于该方法设计了一种表面缺陷自动检测仪。实现了高效率和高精度，对大规模工业生产具有重要意义。

3）基于小金属部件的样本进行了实用和对比实验。结果表明，该方法的准确性和有效性，仪器能够满足制造要求。

本文的其余部分组织如下。第二节介绍了表面检查任务规范和拟议仪器。然后，描述了整个检测过程。第三节提出了基于AMIC的表面检测方法，介绍了网络结构和网络训练方法。第四节给出了实验和结果。最后，本文在第五节得出结论。

2.任务说明和系统设计

2.1 任务规格

待检查的目标部件如图1所示。这些是手机的各种组件。在一个制造厂，这些部件的年产量约为2000万件。这些部件的尺寸通常小于10 mm×10 mm×5 m（W×D×H）。

理论上，表面缺陷包括部件表面出现的所有缺陷，如划痕、凹痕、麻面、锈蚀、剥落和轧制。这些表面缺陷由具有丰富光学放大镜经验的从业者分组。通过观察空间定位，表面缺陷可以分为两种主要类型：局部缺陷和分布缺陷。在我们的应用中，划痕、凹痕和凹坑表面是表面缺陷的主要类型，约占总表面缺陷的99%。图2显示了正常部件和典型缺陷的部分图像。划痕和凹痕属于局部缺陷，它们很小且空间有限。通常，它们有锋利的边缘，可能出现在组件表面如果。图2（b）显示了划痕，图2（c）显示了压痕。点蚀表面属于分布缺陷，分布在表面的大面积上，如图2（d）所示。一般来说，局部表面缺陷是由于储存不当造成的，而分布的表面缺陷是由于上游冶金混合的不足造成的。因此，成功地对不同类型的缺陷进行分类有助于发现系统的过程问题，这对经济效益和产品质量具有重大意义。

我们的任务是：1）检测整个部件表面，并从正常部件中提取有缺陷的部件；2）将缺陷分为三种主要类型：划痕、凹痕和凹痕表面。检查系统应自动、高效和有效地执行上述任务。

2.2 系统配置

设计了自动表面缺陷检测仪，如图3所示。它由旋转圆盘输送机、自动喂料机、定位装置和视觉检测单元，包括摄像机和相应的照明系统、拾取机构和主机。组件通过自动送料机（顶面朝上）输送到同一侧的旋转圆盘输送机。定位装置调整磁盘上具有相同位置和姿势的所有组件。通过旋转圆盘输送机，部件依次到达视觉检测单元。在视觉检测单元中，采用双侧远心透镜和红色同轴照明。双侧远心透镜可以消除透视畸变。BFIS保持了物体的真实尺寸，可以对表面缺陷的细节进行成像。经过大量不同照明条件下的实际实验，红色同轴照明可以减少金属表面的强反射。主机用于控制整个检测过程，包括部件进给控制、视觉检测单元中的图像捕获和图像处理，以及消除缺陷部件的拾取机构控制。

3.基于自适应多尺度图像采集的表面检测

本文提出了一种小型金属构件表面缺陷检测和分类框架。整个检测算法包括两个主要过程：训练过程和检测过程。神经网络和转移学习用于特征提取的训练处理。同时，提出了AMIC作为训练图像的增强方法。在检测处理中，对实时采集的图像进行预处理和裁剪；然后，通过训练的神经网络对这些图像块进行检查和分类。拟议表面检查算法的整体过程如图4所示。

3.1 自适应多尺度图像采集

缺乏足够的训练数据是将神经网络应用于检测应用中最重要的挑战之一。使用由一定大小的窗口从训练数据中提取的重叠面片是一种常用的数据增强方法。例如，在[25]中，假设hb×hb表示面片窗口的大小，t是步幅的大小，M×N是训练图像的大小。然后，一幅图像中的面片数为[（M−hb+1）\/吨]×[（N−hb+1）\/吨]。在训练数据集中，训练面片的总数为Ntrain×{[（M− hb+1）\/吨]×[（N− hb+1）\/t]}。通常，表面缺陷是整个图像中的一个非常小的区域；因此，所有补丁都需要重新标记。手动标记如此多的修补程序非常耗时，尤其是在小对象检查中，例如在该应用程序中的小表面缺陷。本节介绍了一种自动数据扩充方法。该方法创建了一个基于自适应多尺度图像提取和轮廓局部提取的AMIC。该算法建立的所有图像均自动标记，大大提高了网络训练的效率。

创建AMIC的过程主要包括三个步骤：1）初步缺陷提取；2） 自适应多尺度图像提取；3）具有轮廓局部提取。AMIC的详细信息如图5所示。

步骤1（初步缺陷提取）：为了计算缺陷和修补窗口之间的比例参数，需要缺陷的大小。因此，创建AMIC的第一步是初步缺陷提取。Ostu的[26]方法被认为是二值化的最佳方法[27]。两类的类间方差被确定为δb（T）。通过最大化簇间变化，可以获得最佳阈值。假设图像像素用L个灰度级表示，灰度i的归一化直方图值为pi；然后，目标函数等价于

其中：

第2步（自适应多尺度图像提取）：在该表面检查中，部件表面都出现大小缺陷。为了处理多尺度对象，我们提出了自适应多尺度图像提取。从上一步开始，可以分割缺陷区域。计算该区域的最小边界矩形。假设这个矩形的长边是w，短边是h，a、n、d、C是这个矩形的中心。然后，我们将初始缺陷尺寸h0确定为

我们将缺陷区域放大或缩小2n，直到hn+1>hb。hn是转换后的缺陷尺寸

其中n是多尺度参数。在每个尺度上，我们以hb×hb和C为补丁中心，通过补丁窗口提取缺陷图像。

第3步（轮廓局部提取）：在前一步中，我们在每个尺度上提取缺陷图像，但只有一个面片不能很好地代表相应的尺度。因此，在每个尺度下，我们通过轮廓局部提取获得更多图像。如图6所示，缺陷区域轮廓提取为点{Pi}的集合。然后，以{Pi}为面片中心，t为步长，通过面片窗口可以获得大量图像。

在原始样本收集中，所有表面图像都已由经验丰富的从业者标记。由于表面缺陷通常很小，传统方法从缺陷图像中提取的集合将包含大量没有相应缺陷的面片。我们必须手动重新标记所有这些补丁，这是一项繁重的工作。相反，通过该方法提取的新图像集合与原始样本保持相同类型的标签。因此，新图像集合可以自动标记为与原始图像相同。

基于自适应多尺度图像提取和轮廓局部提取的AMIC处理伪代码如算法1所示。

3.2 CNN架构

神经网络是一种深度前馈神经网络，具有共享权重结构和平移不变性。它们最常用于图像分析，主要由卷积层、池层和完全连接层组成。卷积层的许多滤波器从输入图像的局部区域提取特征地图。假设有k个滤波器，滤波器i的权重为W i，偏差为bi，a n d xt和σ分别表示一个小的图像块和激活函数。然后，给定滤波器i的卷积可以表示为

卷积输出可以通过以步长t滑动面片窗口xt在图像中获得。为了避免过度拟合，在卷积层之后应用池层，以便沿空间维度向下采样。例如，图像补丁xt的最大池可以描述为

完全连接的层用于计算类分数，它们通常位于最后几层。

本文将VGG-16用于检测算法。VGG-16网络由13个卷积层和三个全连接层组成。在每两个或三个卷积层之后采用最大池层[28]。

3.3 网络训练

在训练数据有限的应用中，迁移学习被认为是一种很好的解决方案。当源域和目标域相似时，转移固定权重将获得良好的性能[24]。然而，在表面缺陷检测的应用中，没有足够的大量数据来预训练网络。因此，采用不同的域数据集对AMIC传递的权重进行预训练和微调[29]。在本文中，我们使用ImageNet 2012对网络进行预训练。ImageNet 2012数据集有超过130万个1000类的标记图像，其中还包含自然和人造物体[30]。尽管他等人[31]重新思考了ImageNet对常见问题进行预训练的价值，但由于缺乏训练数据以及工业应用中计算资源的限制，它仍然对我们的任务有用。在通用数据集上预训练网络后，传递权重以初始化表面检查网络。同时，输出层节点的数量从1000个类更改为4个类。在最终的训练处理中，训练图像通过第三节中描述的方法进行自适应多尺度，传递的权重将通过AMIC数据集进行调整。整个训练过程如图7所示。

3.4 缺陷检查

在缺陷检测的测试过程中，通过224×224的窗口提取Ni×j面片，并对每个面片进行检测按顺序编号。假设面片数为Ni×j=Ni×N j。输入图像的宽度和高度分别为W和H。那么，Ni和nj可以表示为

其中

是上限函数，返回大于或等于其变量的最小整数。

等式（6）确保面片能够覆盖整个图像，并且面片的数量尽可能少。

每个补丁通过网络向前传播，可以得到该补丁的预测结果。在测试图像中，预测了两个总体结果。如果至少有一个缺陷贴片，则测试图像被标记为缺陷，并且可以通过贴片编号推断缺陷的位置和类别。图8显示了在检查过程中提取的16个补丁的示例。

4.实验过程和结果

在本节中，对表面缺陷检测算法进行了测试，并描述了基于该方法的仪器。

4.1 实验系统

根据第二节中设计的系统，建立了小型金属构件的表面检测仪器，如图9所示。CCD摄像机MER-200-2-GM/GC和具有0.057–0.5×放大率的远心透镜构成了视觉单元。光源为红色同轴照明。视觉单元以15帧/秒的速度拍摄图像，图像大小为1628×1236。主机由Intel Core I7-6700和GTX1050TI-O4G-V2 ASUS GPU组成；频率为3.4 GHz。

4.2 数据集和自适应多尺度图像采集

在我们的实验中，该仪器获得了约1200幅尺寸为1628×1236的小金属构件图像。数据集由四类组成，即法线、压痕、划痕和凹痕表面，如图1所示。表一列出了每个类的样本量。该数据集的70%图像用于网络训练，15%用作验证数据集，15%用于测试。同时，如第III-C节所述，采用数据集ImageNet 2012进行预训练。

根据第三节B，我们建立了一个具有有限训练图像的AMIC。图10显示了创建AMIC的过程，图10（a）显示了原始图像和缺陷提取。图10 b显示了显示了通过多尺度提取获得的部分面片，图10（c）显示了通过轮廓提取获得的部分面片。表一中还列出了通过拟议方法为每个类别提取的补丁数。

在本实验中，原始图像大小为1628×1236（像素），没有黑色背景的目标分量区域为850×850（像素）。因此，通过224×224的窗口从测试图像中提取16个轻微重叠的面片。

4.3 表面缺陷检测实验

在工业中，精度是评估检测系统的最重要指标。此外，利用检测误差和召回率作为另外两个指标来验证算法性能。这些指标被确定为

其中TP（真阳性）表示正确检查的表面缺陷数量，FP（假阳性）表示识别为正常缺陷的表面缺陷数量。FN（假阴性）表示预测为缺陷表面的正常表面的数量。

在提出的检测算法中，有两个主要参数影响检测性能。一个是建立AMIC过程中多尺度提取的尺度参数n，另一个是具有轮廓局部提取的步长t。三组实验被实现以用于检查压痕、划痕和凹坑表面。图11显示了测试结果的部分检查结果。缺陷用红框标出。绿色框表示这是正常组件。

为了测试比例参数n的影响，使用比例分别为n=−2、−1、0、1和2。当n为正数时，缺陷区域放大2n倍。相反，当n为负数时，缺陷区域减少2n倍。图12显示了压痕、划痕和凹坑表面的训练、有效和测试过程的检查误差。精度测试和交叉验证结果如表二所示。为了直观地显示结果，图13绘制了具有不同比例参数n的三种类型缺陷的精度曲线。

如表二所示，压痕和划痕的精度随比例参数n显著变化。当n=−2时，压痕和划痕的精度分别只有56.9%和55.9%。当n=2时，精度分别达到97.3%和99.5%。压痕和划痕是微小缺陷；因此，所提出的AMIC的放大运算可以帮助网络提取更准确的表示。对于凹痕表面，当n=-2时，精确度为100%，并且随着n的增加而减小。当n=2时，精度降低到94.5%。点蚀表面属于分布在表面大面积上的缺陷。因此，减少操作更合适。在该算法中，根据第III-B节自动计算比例参数，结果为2、2和2−2对于压痕、划痕和凹坑表面，这与实际实验结果一致。

为了测试步长t的影响，在步长t分别为1、2、3、4、5和6的情况下，对三种类型的表面缺陷进行了检查实验。在这些实验中，对训练图像进行了操作通过多尺度提取。比例参数为2、2和−2分别用于压痕、划痕和凹痕表面。

图14显示了压痕、划痕和凹坑表面的训练、有效和测试过程的检查误差。精度的测试和交叉验证结果如表三所示。为了直观地显示结果，具有不同步长t的三种类型缺陷的精度曲线为图15所示。

如表三所示，对于所有类型的表面缺陷，拟议的检查方法可以在步长t=1时实现最佳性能。压痕、划痕和凹坑表面的相应精度分别为98.9%、99.1%和100%。随着步幅的增加，精度逐渐降低。这是因为较小的步长会导致从缺陷图像中提取更多的局部面片。对于压痕和划痕等小缺陷，检查性能的提高更为明显。当步长t=6时，压痕和划痕的精度分别为95.4%和94.4%。当步长t减小到1时，压痕和划痕的精度分别达到97.3%和99.5%，分别提高了1.9%和5.1%。对于较大的表面缺陷，如凹坑表面，步长的影响相对较小。精度从99.4%提高到100%，仅增加了0.6%。凹坑表面由大面积的小点组成；因此，该区域的面片提取的特征几乎相同，步长不同，而小的改进主要是由于局部面片数量的增加。

4.4 比较实验

为了评估提出的检测算法，我们在小金属部件数据集上应用了两种竞争方法，即基于VGG-16网络的方法1[25]和基于转移学习的方法2[24]。因为小金属部件的缺陷通常很小，只占整个图像的不到1%。从整个图像中提取的传统重叠面片可能会导致错误的标记。因此，在方法1中，我们将整个训练图像调整为224×224作为输入面片，并且相应的标签保持不变。然后，在方法2中，我们通过224×224的窗口从训练图像中提取16个轻微重叠的面片。包含缺陷的修补程序被标记为缺陷，没有任何缺陷的修补程序被转换为正常。第三种方法是提出的检测算法，通过多尺度提取和轮廓提取建立训练图像。每个实验包括十个独立试验，报告了压痕、划痕和凹坑表面的平均检测精度。精度和召回率的结果列于表四。

如表四所示，方法1对压痕、划痕和凹坑表面的精度分别为57.9%、65.9%和100%。该方法在大规模缺陷检测中表现良好，但在小型缺陷检测中，其精度非常低。这是因为压痕和划痕太小，卷积层无法提取有效的表示。为了消除图像大小的影响，我们在方法2中将训练图像切割成16个面片。这种方法对小表面缺陷的检测效果更好。压痕和划痕的精度分别提高到90.3%和93.4%。然而，大缺陷（如凹坑表面）的精度降低到97.8%。这是因为分割操作破坏了大缺陷的完整性特征。此外，该方法需要重新标记训练数据集，这会导致非常大的人工消耗。在该方法中，通过多尺度提取和轮廓局部提取建立AMIC。该方法对压痕、划痕和凹坑表面的检测精度分别为97.3%、99.5%和100%。所有三种类型缺陷的平均召回率为99.5%。对于所有这些缺陷类型，拟议的检查方法实现了最佳性能，如图16所示。

在该方法中，图像块的自适应多尺度提取根据表面缺陷的大小自动改变图像比例。因此，可以考虑大小缺陷。此外，轮廓提取大大增加了表面缺陷的细节和提取的面片数。特别是，当缺陷跨越修补程序的边界时，它们仍然可以被正确地检测出来。这是因为具有分割缺陷的样本已包含在经过所提出算法的轮廓提取步骤产生的训练数据集中。在所提出的自动表面缺陷检测系统中，旋转圆盘输送机的速度为60–100个部件/分钟。在我们的实验中，使用所提出的算法对一个补丁（尺寸为224×224）的平均检测时间为39毫秒，对一个1628×1236的整张图像的平均检测时间为624毫秒。综合考虑这些因素，该自动检测系统的检测速度为每分钟85件，能够满足制造商的检测要求。此外，检查时间取决于硬件和软件。实验中的算法运行时间是当前主机条件下的综合结果。

5.总结

提出了一种新的基于神经网络的表面缺陷检测算法。建立了基于自适应多尺度提取和轮廓局部提取的AMIC，并应用了转移学习。提出的检测方法解决了收集和标记训练数据集的挑战。利用该算法，设计了一种大体积小型金属构件表面缺陷自动检测仪。进行了实际和对比实验。在小型金属构件压痕、划痕和凹坑表面的检测实验中，该方法的检测精度分别为97.3%、99.5%和100%。该方法对三种表面缺陷的平均检测精度分别为98.9%，而其他两个对比方法是70.9%s和93.8%。结果证明了所提出的表面缺陷检测方法的有效性。此外，该方法不需要重新标记训练数据集，避免了非常大的人工消耗。

未来的研究重点有两个方向。一种是在该检测算法中引入缺陷分割任务，以同时定位检测到的缺陷。另一个是将我们的算法扩展到许多其他工业检测应用。

//本文仅作为日后复习之用，并无他用。