论文泛读：基于语义分割的沥青路面裂缝智能识别

我可以不是花

已于 2024-04-21 14:45:11 修改

阅读量830

点赞数 9

分类专栏：学习文章标签： python 深度学习人工智能计算机视觉图像处理

于 2023-10-31 10:26:01 首次发布

本文链接：https://blog.csdn.net/T548164/article/details/134130709

版权

学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

基于语义分割的沥青路面裂缝智能识别

声明：本文章只用于学习，若有侵权请联系删除
引用论文：[1]杨燕泽,王萌,刘诚等.基于语义分割的沥青路面裂缝智能识别[J/OL].浙江大学学报(工学版),2023(10):2094-2105[2023-10-30].http://kns.cnki.net/kcms/detail/33.1245.T.20231017.0940.018.html.

1.研究背景

截至2021年末，我国的公路总里程已达到528.07万公里，凭借着养护便捷、行车舒适的优点，在高速公路里程中占比超过 90%。随着运营年限的增加，运营维护问题凸显。沥青公路整体面临着长期、繁重的监测诊断与维护任务。传统的路面检查方式以人工为主，存在工作环境危险、检测效率低、过于依赖人的主观经验等问题，难以保证结果的全面与精确，如何实现高速公路运维的自动化、智能化是当下的研究热点。随着人工智能技术的快速发展，深度学习这个概念被不断提及，深度学习的技术也开始为各行各业赋能。深度学习方法是计算机在无人工干预的情况下自主学习对象的特征。该研究基于深度学习方法中的语义分割展开。

2.基于深度学习的语义分割方法

语义分割（image semanticsegmentation，ISS)的目标是图像中的每个像素进行分类，并将其标记为不同的语义类别，相较于传统的分类任务，语义分割不仅关注物体的存在与否，还关注物体的轮廓与边缘。与传统的图像分割相比，语义分割的特点是为图像中的目标加上一定的语义信息在沥青路面检测中，对裂缝目标进行像素级的分割，有利于裂缝参数（长度、宽度）的计算常用语义分割算法的优势及存在的问题总结如下表1所示：

表1 常见语义分割模型总结

3.语义分割模型对比研究

3.1数据集信息

该研究选用公开沥青裂缝分割数据集 CRACK500和GAPS384 ，裂缝分别来自天普大学主校区沥青路面和德国沥青路面进行实验对比，由于 2 个数据集裂缝图像特点存在差异，为了保证测试的公平性，从 2 个数据集中分别挑选约 60 张共同作为试验测试集。

3.2对比方案设计

选择4 种语义分割算法 U-Net、DeeplabV3、PSPNet、DeeplabV3+，同时综合考虑数据集训练规模、算法种类、训练网络种类及深度、训练损失函数的影响，开展沥青路面裂缝自动化检测模型的对比研究。如图1所示：

图1 语义分割模型的对比方案
在这里插入图片描述

3.3评估指标

为了衡量不同语义分割模型的作用及贡献建立混淆矩阵，其中TP为模型预测是裂缝且真实值也是裂缝的像素个数、FP 为模型预测是裂缝但是真实值不是裂缝的像素个数、FN 为模型未预测是裂缝但是真实值是裂缝的像素个数、TN 为模型未预测是裂缝且真实值的确不是裂缝的像素个数。基于 TP、FP、FN、TN，采用模型评价指标包括交并（intersection over union, IOU）、准确率 Acc、召回率 Re、F1 分数、精确率 Pr。各项指标的定义及计算公式如表2所示：

表2 评估指标汇总
在这里插入图片描述

4.试验结果及分析

4.1训练模型的基本参数

在训练结束后，各数据集基本信息如表3所示，其中模型1—模型8为较小的数据集。由于分割数据集构建成本大，缺乏足够的数据量，而且不同研究所采用的数据集规模不一，需要考虑数据集规模对模型训练的影响。

表3 训练模型基本参数
在这里插入图片描述

4.2训练数据集规模及算法的影响

将训练数据集大于 1 000 张的 CRACK500作为较大规模数据集，小于1000 张的GAPS384作为较小规模数据集，通过分别训练及测试，考虑不同的训练因素（网络结构、损失函数），针对较大规模数据集及较小规模数据集分别提供优选方案及对应模型。在不同数据集规模下，不同算法训练得到的模型1-4，模型9-12的损失函数曲线及准确率曲线如图2及图3所示：

图2 较小规模数据集的损失及准确率曲线
在这里插入图片描述
图3 较大规模数据集的损失及准确率曲线

随着迭代次数增加，模型损失函数值均随迭代次数不断下降，没有出现过拟合、欠拟合的情况，表明试验超参数选择合理.。模型 3、4、11、12 训练过程稳定，特点在于准确率高，损失函数值低，特征学习能力强。 PSPNet和DeepLabV3+算法在模型学习中，调用金字塔模块，兼顾裂缝目标物浅层和深层的特征融合，促进局部信息的上下文的获取。在训练结束后，模型测试结果对比如表 4 所示：

表4 不同类型算法模型测试结果
在这里插入图片描述
显然，大模型及数据集训练出来的模型性能更加优秀，各项评估指标都比小模型及数据集的训练结果更高。其中，模型1、9的语义分割模型的交并比最低，这是因为U-Net语义分割模型在获取图像的上下文信息和保证定位准确性上是不兼得的，因此识别效果较差。而模型3、4及模型11、12的准确率、F1 分数均较高且相差不大。在图像的所有像素点中，准确率最高为 86.76%，表明最高有 86.76% 的像素被正确预测。在保证精度的前提下，模型 3、11 的 FPS 值最大，分别为0.85、0.71 帧/s. PSPNet 算法得到的模型在检测精度和效率上有较好的性能。在裂缝可视化结果中，将模型 9、12 分割结果的误识别（FN）、漏识别（FP）面积进行对比，如图4所示，在测试集上准确率最高的模型12 “FN+FP”总面积比准确率最低的模型9 小得多，表明DeepLabV3+漏识别、误识别像素点更少，分割结果与人工标签图更吻合，分割效果更好. 图中中间部分 FN 为被误识别为背景的实际裂缝区域，上下部分 FP 为被识别在裂缝范围内实际没有裂缝的区域。模型 9-12 的裂缝分割结果可视化结果如图5所示，通过对比，模型 11、12 分割出的裂缝，边缘轮廓更精确，连续性更好，表明 DeepLabV3+和PSPNet 对沥青路面裂缝的分割确实有更好的效果。

图4 模型 9、12 模型分割结果误识别（FN）、漏识别（FP）面积对比
在这里插入图片描述

图5 模型 9-12 裂缝分割结果可视化
在这里插入图片描述

4.3语义分割模型优选方案

基于对比结果，提出分别适用于较大规模数据集及较小规模数据集的优选智能识别方案及对
应模型如图6所示，供高速公路等场景下沥青路面裂缝的自动化检测实践提供参考. 在没有计算资源等条件的限制下，检测精度最高的两个优选方案模型是DeepLabV3+_R101_CROSS 和PSPNet_R101_CROSS。

图6 沥青路面裂缝智能检测模型的优选方案
在这里插入图片描述

5.收获与感悟

最近我们小组正在做“基于语义分割的公路表面裂缝检测的研究”的班级项目，该篇论文的研究方向与我们负责的班级项目类似。作为刚刚开始入坑的新手，正处于比较迷茫的阶段，不知道该如何去实施我们的项目。而阅读这篇论文给我带来了很多的灵感，为我们做班级项目提供了一个方向。同时也深刻地认识到了自身的不足，论文里还有很多高深的东西是目前我无法理解的，我明白还需要更加努力地学习，期望能够取得进步，提升自身。