Bridge Crack Semantic Segmentation Based on Improved Deeplabv3+,2021,SCI Q1
摘要
裂缝是桥梁养护的主要目标,准确检测裂缝有助于保证桥梁的安全使用。针对传统图像处理方法难以准确检测裂纹的问题,引入深度学习技术,提出一种基于改进的DeepLabv3+语义分割算法的裂纹检测方法。在网络结构上,DeepLabv3+网络中引入了密集连接的空洞空间金字塔池化模块,使得网络能够获得更密集的像素采样,从而增强网络提取细节特征的能力。在获得较大感受野的同时,网络参数数量与原算法保持一致。采集不同环境条件下的桥梁裂缝图像,建立混凝土桥梁裂缝分割数据集,通过网络的端到端训练得到分割模型。实验结果表明,改进的DeepLabv3+算法比原DeepLabv3+算法具有更高的裂纹分割精度,平均相交率达到82.37%,裂纹细节分割更加准确,证明了该算法的有效性。
引言
裂缝作为桥梁的主要问题之一,是桥梁检测和维护的重点目标。采取有效措施检测桥梁裂缝有利于维护交通安全和正常运营。手动裂纹检测方法比较简单,依靠人工观察来寻找裂纹,但很容易漏掉裂纹,导致检测效率较低。在大型桥梁特别是海上桥梁的检测中,主要工作地点是桥外高空,这大大增加了检测工作的风险。因此,有必要实现桥梁裂缝的高效自动化检测。
近年来,随着深度学习技术的快速发展,各种深度学习网络被提出,目标检测算法也取得了巨大突破。Girshick et al.在2013年提出了R-CNN(Regions with CNN Features)网络,在VOC(Visual Object Classes)数据集上取得了很好的精度。Girshick et al.对之前提出的R-CNN算法进行了优化和改进,提出了Fast R-CNN网络。由于网络仍然采用选择性搜索策略,因此速度上仍然有所欠缺。后来,Ren et al.提出了Faster R-CNN网络,用RPN(Region Proposal Network)替代了Fast R-CNN中的选择性搜索网络,提高了网络的速度。 2016年,Redmon提出了YOLO(You Only Look Once)算法。该网络可以同时进行检测框回归和目标分类,大大加快了网络的检测速度。此后,YOLOv2、YOLOv3、YOLOv4逐渐被提出。Liu et al.提出了SSD(Single Shot MultiBox Detector)算法。该算法在VGG16(Visual Geometry Group)的基础上增加了卷积层,实现多尺度检测,在保证检测速度的前提下提高检测精度。Lin et al.在 2017年提出了RetinaNet网络,利用Focal Loss解决了训练中类别不平衡的问题,进一步提高了目标检测的准确性。此外,2019年还提出了CornerNet、ExtremeNet、CenterNet等多种目标检测算法。
随着检测需求的不断增加,有些物体利用物体检测算法无法获得理想的检测效果。因此,有学者研究了基于深度学习的图像分割算法。Long et al.在2015年提出了FCN(全卷积网络)网络,可以获得像素级的分割结果。Badrinarayanan et al.提出了SegNet,可以获得原始图像大小的语义分割结果。Ronneberger et al.提出了 U-Net,它由捕获上下文的收缩路径和实现精确定位的对称扩展路径组成。 Chen et al.提出的DeepLab系列算法,具有较高的分割精度。 DeepLabv1引入了空洞卷积操作,在不改变网络参数数量的情况下增加了感受野的范围,并获得了更好的分割结果。近年来,作者在DeepLabv1的基础上,先后提出了DeepLabv2、DeepLabv3和DeepLabv3+,通过优化网络结构逐步提高算法分割性能。Zhao et al.提出了PSPNet(金字塔场景解析网络),引入金字塔池化模块,使网络具有理解全局信息的能力。
####### 引出方法
针对网络检测桥梁小裂缝精度不够的问题,提出一种基于Dense-DeepLabv3+网络的桥梁裂缝图像分割算法。通过在DeepLabv3+网络中引入密集连接的空洞空间金字塔池化模块,生成更多的检测尺度,像素采样覆盖更密集,提高了网络特征提取的能力。采集不同环境条件下桥梁裂缝图像,建立数据集。通过训练原始网络和改进网络得到分割模型。通过对比实验验证了网络分割的性能,证明了本文改进的DeepLabv3+算法的有效性。
方法
为了使网络能够更好地提取裂缝特征,在原有DeepLabv3+网络结构的基础上,由原来的独立分支的方法改为多孔空间金字塔池化模块。密集连接方法可以实现更密集的像素采样,提高算法的特征提取能力。改进后的Dense-DeepLabv3+网络结构如图所示。
参考DenseNet的网络结构,通过密集连接对DeepLabv3+网络的ASPP模块进行改进,如图中黄色虚线框所示,在原有的3个空洞卷积并行的基础上增加了串联结构。将空洞率较小的空洞卷积的输出与主干网络的输出进行级联,然后一起送入空洞率较大的空洞卷积,以达到更好的特征提取效果。
-
密集连接的ASPP模块可以在计算中使用更多的像素。空洞卷积的像素采样比普通卷积稀疏,感受野更大。ASPP模块密集连接后,空洞率逐层增大,空洞率较大的层使用空洞率较小的层的输出作为输入,使得像素采样更加密集,提高了像素的利用率。
-
原来的ASPP模块并行工作,各分支不共享任何信息,而改进后的模块通过跳层连接实现信息共享。不同空洞率的空洞卷积相互依赖,增大了感受野的范围。
-
密集连接的ASPP模块虽然可以获得更密集的像素采样和更大的感受野,但同时也增加了网络参数的数量,从而会影响网络的运行速度。为了解决这个问题,在密集连接后的每个空洞卷积之前使用1×1卷积来减少特征图的通道数,从而减少网络的参数数量,提高网络的表达能力。
实验及结果分析
- 评价指标
像素精度(PA):计算正确分类的像素数与所有像素数的比率。
平均像素精度(MPA):按类计算正确分类像素的比例,最后按类总数求平均。
- 原始 DeepLabv3+ 和 Dense-DeepLabv3+ 结果的比较。
Class_0代表除裂纹之外的背景部分的MIoU值,Class_1代表裂纹的MIoU值,Overall代表整体的MIoU值。 - 原始 DeepLabv3+ 和 Dense-DeepLabv3+ 裂纹分割结果的比较。
(a) original image (b) DeepLabv3+ © Dense-DeepLabv3+.