语义分割论文阅读笔记6

Bridge Crack Semantic Segmentation Based on Improved Deeplabv3+，2021，SCI Q1

论文地址

摘要

裂缝是桥梁养护的主要目标，准确检测裂缝有助于保证桥梁的安全使用。针对传统图像处理方法难以准确检测裂纹的问题，引入深度学习技术，提出一种基于改进的DeepLabv3+语义分割算法的裂纹检测方法。在网络结构上，DeepLabv3+网络中引入了密集连接的空洞空间金字塔池化模块，使得网络能够获得更密集的像素采样，从而增强网络提取细节特征的能力。在获得较大感受野的同时，网络参数数量与原算法保持一致。采集不同环境条件下的桥梁裂缝图像，建立混凝土桥梁裂缝分割数据集，通过网络的端到端训练得到分割模型。实验结果表明，改进的DeepLabv3+算法比原DeepLabv3+算法具有更高的裂纹分割精度，平均相交率达到82.37%，裂纹细节分割更加准确，证明了该算法的有效性。

引言

裂缝作为桥梁的主要问题之一，是桥梁检测和维护的重点目标。采取有效措施检测桥梁裂缝有利于维护交通安全和正常运营。手动裂纹检测方法比较简单，依靠人工观察来寻找裂纹，但很容易漏掉裂纹，导致检测效率较低。在大型桥梁特别是海上桥梁的检测中，主要工作地点是桥外高空，这大大增加了检测工作的风险。因此，有必要实现桥梁裂缝的高效自动化检测。

近年来，随着深度学习技术的快速发展，各种深度学习网络被提出，目标检测算法也取得了巨大突破。Girshick et al.在2013年提出了R-CNN（Regions with CNN Features）网络，在VOC（Visual Object Classes）数据集上取得了很好的精度。Girshick et al.对之前提出的R-CNN算法进行了优化和改进，提出了Fast R-CNN网络。由于网络仍然采用选择性搜索策略，因此速度上仍然有所欠缺。后来，Ren et al.提出了Faster R-CNN网络，用RPN（Region Proposal Network）替代了Fast R-CNN中的选择性搜索网络，提高了网络的速度。 2016年，Redmon提出了YOLO（You Only Look Once）算法。该网络可以同时进行检测框回归和目标分类，大大加快了网络的检测速度。此后，YOLOv2、YOLOv3、YOLOv4逐渐被提出。Liu et al.提出了SSD（Single Shot MultiBox Detector）算法。该算法在VGG16（Visual Geometry Group）的基础上增加了卷积层，实现多尺度检测，在保证检测速度的前提下提高检测精度。Lin et al.在 2017年提出了RetinaNet网络，利用Focal Loss解决了训练中类别不平衡的问题，进一步提高了目标检测的准确性。此外，2019年还提出了CornerNet、ExtremeNet、CenterNet等多种目标检测算法。

随着检测需求的不断增加，有些物体利用物体检测算法无法获得理想的检测效果。因此，有学者研究了基于深度学习的图像分割算法。Long et al.在2015年提出了FCN（全卷积网络）网络，可以获得像素级的分割结果。Badrinarayanan et al.提出了SegNet，可以获得原始图像大小的语义分割结果。Ronneberger et al.提出了 U-Net，它由捕获上下文的收缩路径和实现精确定位的对称扩展路径组成。 Chen et al.提出的DeepLab系列算法，具有较高的分割精度。 DeepLabv1引入了空洞卷积操作，在不改变网络参数数量的情况下增加了感受野的范围，并获得了更好的分割结果。近年来，作者在DeepLabv1的基础上，先后提出了DeepLabv2、DeepLabv3和DeepLabv3+，通过优化网络结构逐步提高算法分割性能。Zhao et al.提出了PSPNet（金字塔场景解析网络），引入金字塔池化模块，使网络具有理解全局信息的能力。

####### 引出方法
针对网络检测桥梁小裂缝精度不够的问题，提出一种基于Dense-DeepLabv3+网络的桥梁裂缝图像分割算法。通过在DeepLabv3+网络中引入密集连接的空洞空间金字塔池化模块，生成更多的检测尺度，像素采样覆盖更密集，提高了网络特征提取的能力。采集不同环境条件下桥梁裂缝图像，建立数据集。通过训练原始网络和改进网络得到分割模型。通过对比实验验证了网络分割的性能，证明了本文改进的DeepLabv3+算法的有效性。

方法

为了使网络能够更好地提取裂缝特征，在原有DeepLabv3+网络结构的基础上，由原来的独立分支的方法改为多孔空间金字塔池化模块。密集连接方法可以实现更密集的像素采样，提高算法的特征提取能力。改进后的Dense-DeepLabv3+网络结构如图所示。

参考DenseNet的网络结构，通过密集连接对DeepLabv3+网络的ASPP模块进行改进，如图中黄色虚线框所示，在原有的3个空洞卷积并行的基础上增加了串联结构。将空洞率较小的空洞卷积的输出与主干网络的输出进行级联，然后一起送入空洞率较大的空洞卷积，以达到更好的特征提取效果。

• 密集连接的ASPP模块可以在计算中使用更多的像素。空洞卷积的像素采样比普通卷积稀疏，感受野更大。ASPP模块密集连接后，空洞率逐层增大，空洞率较大的层使用空洞率较小的层的输出作为输入，使得像素采样更加密集，提高了像素的利用率。

• 原来的ASPP模块并行工作，各分支不共享任何信息，而改进后的模块通过跳层连接实现信息共享。不同空洞率的空洞卷积相互依赖，增大了感受野的范围。

• 密集连接的ASPP模块虽然可以获得更密集的像素采样和更大的感受野，但同时也增加了网络参数的数量，从而会影响网络的运行速度。为了解决这个问题，在密集连接后的每个空洞卷积之前使用1×1卷积来减少特征图的通道数，从而减少网络的参数数量，提高网络的表达能力。

实验及结果分析

• 评价指标
  像素精度（PA）：计算正确分类的像素数与所有像素数的比率。
  
  平均像素精度（MPA）：按类计算正确分类像素的比例，最后按类总数求平均。
  
  
• 原始 DeepLabv3+ 和 Dense-DeepLabv3+ 结果的比较。
  
  Class_0代表除裂纹之外的背景部分的MIoU值，Class_1代表裂纹的MIoU值，Overall代表整体的MIoU值。
• 原始 DeepLabv3+ 和 Dense-DeepLabv3+ 裂纹分割结果的比较。
  
  (a) original image (b) DeepLabv3+ © Dense-DeepLabv3+.