LE-MSFE-DDNet:基于微光增强和多尺度特征提取的缺陷检测网络--论文笔记

论文的英文名称为：LE–MSFE–DDNet: a defect detection network based on low‑light enhancement and multi‑scale feature extraction
来自期刊The Visual Computer,工程技术4区。

1.相关背景

  工业产品表面缺陷检测已成为一个很有前途的研究领域。在现有的缺陷检测算法中，大多数基于cnn的方法都能在理想的实验条件下完成缺陷检测任务。
  然而，在实际生产环境中，工业产品种类繁多，导致带有缺陷的样品种类繁多。由于环境的相对复杂性，从相机捕捉到的图像呈现出微弱的光线。如下图所示，绿框中均为划痕，在图案复杂的弱光图像中，缺陷特征不明显。此外，由于生产过程极其复杂，导致产品表面存在多尺度缺陷。图像中缺陷的长度和大小可能不一致，从而导致多尺度缺陷的问题。因此，传统方法难以提取缺陷的局部信息，而且这些模糊特征容易使图像的模式与缺陷相混淆。同时，一般的缺陷检测器也无法解决从尺度不一致的图像中区分缺陷的问题。这些问题的存在降低了缺陷检测模型的泛化能力。

  为了提高缺陷检测的准确性，需要关注复杂纹理图案、微光增强和多尺度缺陷特征提取等问题。在本文中，作者提出了一种基于一阶段的全卷积目标检测网络的微光增强和多尺度特征提取缺陷检测网络 (LE-MSFE-DDNet) 来构建模型。

2.创新点

  对于表面缺陷检测。论文工作的主要贡献如下:
(1)为了使模型对光照影响具有鲁棒性，作者引入了一个微光增强块。引入该块是为了通过对输入图像的分解进行深度特征增强，增强从低光照环境中采集到的图像中的缺陷信息。
(2)为了有效地检测不同尺度图像中的缺陷，作者提出了SE-FP块来提高网络的泛化能力。采用SE-FP块，通过不同信道的融合，使网络能够提取多尺度特征。
(3)为了实现缺陷检测任务，作者提出了LE-MSFE-DDNet，建立了一个包含复杂模式的细罐表面图像的细罐缺陷数据集。实验表明，该网络在该数据集上获得了94.27%的准确率和50.64%的召回率。

3.实现方法

  首先来介绍一下论文的整体网络结构，首先选择FCOS (全卷积一阶段检测网络）作为我们网络的基本骨干来执行表面缺陷检测任务。然后，将微光增强块连接到从骨干网获得的三个基本层的输出。最后，在微光增强块的输出和基本骨干的区域建议网络(RPN)之间连接SE-FP块。提出的LE-MSFE-DDNet结构如下图所示。

3.1 微光增强模块

  在检测的过程中，发现重建和分解图像有利于减弱复杂背景信息对缺陷的影响，从而增强了缺陷图像中原始不明显的缺陷特征。本文采用基于微光增强块对原始图像进行增强，更有利于我们的网络识别缺陷的位置。微光增强块主要分为分解网络、增强网络和重构三部分。根据Retinex理论，我们将源图像S分解为反射分量R(x,y) 和照明分量I(x,y)，引入这两个分量来描述图像中缺陷的固有特征和光照条件，可以表示为：

公式中 . 的意思是按元素进行乘法运算。
  采用分解网络将源图像分解为反射分量和照明分量，增强网络对分解后的照明分量进行二次增强。最后对增强后的照明分量和反射分量进行重构，得到最终的增强效果。如下图所示。

  在微光增强模块分解网络中，将微光和正常条件下得到的图像Sl和Sn分别送入两个参数共享的五层卷积网络中，分别计算反射分量和照明分量。需要注意的是，输入图像之间的一致性是通过共享权重的cnn来提取的。虽然引入了两个分量来提取图像的特征，但普通图像的结构仅作为网络的一个分支。在微光图像的特征提取中，与微光图像共享参数。具体来说，首先使用卷积层来提取输入图像的特征，以获得更好的特征表示。其次，通过三个带有ReLU激活函数的卷积层将原始图像映射为反射分量和照明分量。最后，采用卷积层将反射分量R和照明分量I从特征空间中投影出来，利用sigmoid函数将R和I限制为[0,1]，分别得到两组分解图像Rn、In和Rl、Il。

  在增强网络中，微光组件通过卷积层和跳跃连接方式进行增强。通过这些连接操作，建立不同层之间的连接关系。这些连接关系的作用是充分利用来自不同层次的特征来增强我们网络的特征提取能力。换句话说，在这些连接的帮助下，保持了全局光的一致性，而不是被局部照明分布分散。下采样分量通过特定的和连接到相应的上采样分量。通过对分解网络的微光图像进行分解得到的反射Rl与光照Il之间的桥接。然后，通过ReLU激活函数将上一步的输出连接到Conv6层。其次，对Conv9层进行桥接，将前三个卷积层的输出通过跳跃式连接连接起来，输入接下来的Conv10层。最后，使用一个3 × 3卷积层重建由前一个卷积层增强的I12。

3.2 SE-FP模块

  在微光增强块之后，我们用SE-FP块连接来自这些块的特征映射。SE-FP块的引入一方面使我们的模型更适合多尺度缺陷对象，另一方面提高了训练收敛速度。SE-FP块的输出是用于缺陷回归的RPN的输入。
  SENet是一个结构块，它通过显示建模通道之间的相互关系来获得每个特征通道的重要性。根据这个重要性，以增强有用的特征和削弱无用的特征，如下图所示，作者将过程划分为压缩和激发。具体情况如下。
(1) 将之前的特征图f沿空间维进行压缩，使每个二维特征通道成为实数，输出维数与输入特征通道数匹配。正式地说，这个过程的输出计算如下:

  f(i,j)表示一般卷积变换的输出。H×W为f(i,j)的空间维数。这种挤压操作可以增加全局感受场，更有利于我们的缺陷检测任务寻找缺陷特征。

(2) 在压缩通道上进行激励操作，使用一些参数来权重特征通道。学习这些参数是为了显示建模特征通道之间的相关性。因此，我们使用一个简单的Sigmoid激活来拟合函数:

  我们可以通过上述函数得到权重参数。

(3) 来自激励的权值被认为是每个特征信道的重要性。通过乘法将这些参数与之前的特征信道融合，并在信道维中重新校准原始特征:

  这里的Gscale表示乘法。

  作者将SENet与FCOS结合，得到了一个融合SENet的多尺度加权模块。生成的模块称为SE-FP块。如下图所示，FCOS作为该网络的基本骨干。采用特征金字塔网络(FPN)对不同尺度的图像进行自适应，实现多尺度缺陷检测。
  作者将FPN引入目标检测网络的目的是为了从卷积网络的金字塔状特征层次中获得不同的语义。具体来说，不同尺度的物体被不同层次的特征图检测出来。首先，五个级别的特性映射被定义为{P3,P4,P5,P6,P7}。将ResNet骨干的第2、3、4层提取成C3、C4和C5，然后经过两层卷积得到P3、P4和P5。随后，P5通过降采样运算得到P6和P7。然后，在降采样过程中，在P5和P6以及P6和P7之间嵌入一个SE-FP块。在一般的金字塔网络中，P5层将直接下采样到P6层，然后使用同样的策略得到P7层。如果这些层直接连接在一起，会导致多尺度缺陷的尺寸信息不准确甚至丢失。因此，有必要防止多尺度信息丢失。通过结合金字塔网络，将SE-FP块应用于我们的模型，以感知不同尺度的信息。通道注意机制增强了特征图中不同通道间特征提取的适应性。实际上，最大池化和平均池化可以分别保留局部纹理特征和整体缺陷特征。因此，在我们的网络中，P5层的feature map首先分别连接到AvgPool层和MaxPool层，然后用ReLU将上述输出通过卷积层传递。最后采用Sigmoid激活函数将两种输出结合起来进行信道加权。

  最后，P3到P7通过共享的RPN分别回归到缺陷目标的位置。RPN由五层卷积组成，其中三层是与ReLU的卷积，最后一层卷积用于分类、回归和中心度测量。中心度是FCOS提出的一种简单有效的策略，可以在不引入冗余参数的情况下抑制低质量的预测边界盒。与分类分支平行，预测中心位置。

了解SE模块参考这里

对于损失函数的计算，作者在原有的分类和回归损失的基础上加入了一个微光增强损失，这里不再赘述。

4.实验结果

  为了验证模型的有效性，作者自己采集了一套细罐缺陷数据集，包含612张缺陷图像，分为训练集(366张)、测试集(122张)和验证集(123张)。数据集中每个图像的模式是不同的，缺陷的位置和大小也是不确定的。该数据集的缺陷类型为划痕，这些图像具有背景复杂、多尺度的特点，如下图所示。

  论文中使用随机梯度下降法(SGD)训练，进行5000次迭代，初始学习率为0.001，衰减权值为0.0001。经过5000次迭代训练后，损耗率曲线如下图所示。

作者引入召回率、平均精度(AP)，即AP50 (IoU为0.50)和AP75 (IoU为0.75)来验证网络模型。

  首先，微光增强模块可以帮助我们的网络增强特征提取能力。该块的嵌入完成了对微光图像颜色空间特征的细化。优化后的图像具有较强的光适应性。从实验的可视化角度来看，我们可以将微光增强块在图像采集过程中光线对图像质量的影响降到最小，如下图所示。对前后图像进行了微光增强。

  在实验的模块有效性方面，通过直方图对该模块的有效性进行分析，如图下所示。从直方图中我们可以发现，当像素数量适中时，图像的原始亮度被抑制。这有助于清楚地发现缺陷轮廓的特征。横坐标为像素的数量，纵坐标为亮度。

  为了验证提出的每个模块的有效性，作者分别构建了FCOS +微光增强、FCOS + SE-FP模块和FCOS +微光增强模块+ SE-FP模块3个网络模型。实验结果与下图所示。

  可以发现，在训练基线网络时加入微光增强块，AP50从0.9061增加到0.9152,AP75从0.4594增加到0.4727。与此同时，召回数量从0.4213上升至0.4404。此外，通过一些定量实验验证了SE-FP模块对网络模型的影响。我们的SE-FP块嵌入式FCOS网络在缺陷检测方面取得了比原网络更好的结果。在骨干网络中加入SE-FP后，AP50从0.9061增加到0.9296,AP75从0.4594增加到0.5742，召回率从0.4213增加到0.4569。最后，在骨干网络中同时加入弱光增强块和SE-FP块。在我们的实验中，我们发现在保证AP50(从0.9061提高到0.9427)和AP75(从0.4594提高到0.6729)的情况下，召回率从0.4213提高到0.5064。总之，同时添加弱光增强块和SE-FP块的效果最好。

除此之外，作者将提出的网络与其他的一些经典网络作出对比。
  作者为了验证的网络的优越性，将提出的方法与一般目标检测模型在所提出的数据集上进行了比较。以SSD, Yolov3, Faster R-CNN和FCOS作为对比。下表总结了四种常用的目标检测网络实现的AP50、AP75和AUC。

  由上表可以看出，通过对微光增强块和SE-FP块的优化，该方法的性能优于其他四种方法。同时可以看出，我们方法的AP50为0.9427，而FCOS、Faster R-CNN、Yolov3和SSD的AP50均低于提出的方法。
同时，作者还给出了PR曲线，根据PR曲线的特点，曲线越靠近右上角，对应模型的性能越好。PR曲线如下图所示，论文的网络的曲线位于其他曲线的顶部，说明我们的方法更好。

  论文还给出了SSD、Yolov3、Faster R-CNN、Cascade R-CNN和FCOS与新提出的方法对细罐缺陷数据集的检测结果。其中一些图案是花朵、卡通人物或文字。因此，这些图案很容易被误认为是类似的缺陷。

  上图中检测结果从左到右依次为Ground truth、ours、yolov3、faster R-CNN、SSD、Cascade R-CNN、FCOS的检测结果。图中企鹅的纹理与划痕缺陷相似。有的网络把企鹅纹理当作划痕，以上方法检测不正确的原因是Faster R-CNN在候选框筛选过程中局限于缺陷的多尺度特征，而SSD、Yolov3和FCOS在捕捉亮度环境特征方面缺乏鲁棒性。