阅读笔记-Pavement_Defect_Detection_With_Deep_Learning_A_Comprehensive_Survey

achong_2050

已于 2024-09-30 17:24:04 修改

阅读量231

点赞数

分类专栏：论文笔记文章标签：笔记深度学习

于 2024-09-30 17:22:06 首次发布

原文链接：https://ieeexplore.ieee.org/document/10288367

版权

论文笔记专栏收录该内容

6 篇文章 1 订阅

订阅专栏

论文笔记-Pavement_Defect_Detection_With_Deep_Learning_A_Comprehensive_Survey

原文：Pavement_Defect_Detection_With_Deep_Learning_A_Comprehensive_Survey
原文链接：https://ieeexplore.ieee.org/document/10288367

摘要

路面缺陷检测技术对于道路安全性有深刻地意义，所以它已经成为流行研究热点。在过去几年，基于深度学习的方法已经转变成一个关键技术，具有高准确率、强鲁棒性和复杂路面环境适应性。首先，本文概述基于图像处理和三维图像的方法。对于基于图像处理技术，它们可被分为3类方法，基于如何标注数据：全监督学习，半监督学习，以及其他方法。不同方法可进一步被分类和相互对比。第二点，基于三维数据的路面检测方法被整理，由此整理它们的优点，缺点，以及应用场景。第三点，本研究提出在路面缺陷检测领域中主要的挑战，介绍经过验证的数据集和评价指标。最后，在概述路面缺陷检测相关文献的基础上，提出一个前景的方向。

1.引言

深度学习的迅速发展唤醒了许多学者的兴趣。基于深度学习的路面缺陷检测方法可以提取和学习非人工设计的特征。同时地，鉴于Transformer显著性的成就，基于seq2seq架构的Transformer模型不仅能提前特征，而且实现多模态融合、克服CNN的不足。结合Transformer的路面病害检测算法也是一个研究热点。
许多国内和国外公司积极开发商业路面缺陷检测软件，以提供高效准确地路面维护解决方案。正如Table 1所示，这些软件部署深度学习算法和经过大规模数据训练的模型，拥有自动地、快速地、准确地检测路面病害的能力。比如NEC开发了高速公路病害智能监控和评估系统，使用便携式图像摄影设备，基于百万病害图像数据，以及专用深度神经网络学习技术。随着技术持续进步和应用场景的扩大，这些商业应用软件将持续驱动创新和进步，在路面病害检测领域。
在这里插入图片描述
为了跟踪近几年的路面病害检测方法，本文概述2018年到2023年间的文献。目标在于帮助这个领域的研究者快速获得相关技术的全面认识。本文的结构如下：

Section 2给出路面病害检测的定义；集中在基于图像数据的相关方法，详细阐述和对比不同分割方法。
Section 3整理基于三维数据的方法。
Section 4分析路面病害检测的关键问题。
Section 5介绍路面病害检测数据集以及量化的评价指标
Section 6指出未来发展重心和发展方向。

2.路面病害检测的定义

2.1路面病害的定义

路面可以被分成两类：结构化路面和非结构化路面。结构化路面通常是城市干道、高速公路，它们通常有硬混凝土或者沥青层，拥有很强的承载能力，它们的路面病害通常是标准化的；非结构化路面也许由各种的材料组成，包括沥青、砂石、泥土等。这些路面没有严格地结构化设计，路面的材料和厚度相对不均匀，路面病害也许是形形色色的。
路面病害是指道路表面的各种损害或者变形，它由长时间使用、交通负载、环境因素造成，或者为设计和建造的缺陷。路面病害不利于道路的安全性、舒适性和耐用性。
根据JTG 5210-2018，路面类型可划分成沥青路面和混凝土路面。沥青路面有11个主要的分类，包括龟裂、块状裂缝、纵向裂缝、横向裂缝、洼地、车辙、挤压、坑洞、脱落、渗水和补丁。水泥混凝土路面病害主要被划分成板断、板裂、角断、断层、隆凸，缝口低陷、有缺陷的接缝填充器、弹出、泵送、骨料暴露和修补。
从路面病害成因来说，路面病害可分成两类，结构性病害和功能性病害。裂缝和形变是结构性病害的主要表现形式，它会削弱路面的承载能力，在弯道是及其常见的。路面裂缝是评估路面条件和进行必要的道路养护的重要信息。坑洞病害和松散病害是两种更加常见的功能性病害，它容易降低道路的抗滑性和通畅，并且削弱路面的使用能力。
[图片]

2.2路面病害检测的定义

路面病害检测可划分成3个阶段：确定类型，定位、测量成都。

第一个阶段是识别病害类型，类似于分类任务。
第二个阶段是确定准确病害位置，类似于定位任务。
第三个阶段是测量病害程度，类似于分割任务。

3.基于图像数据的路面病害检测

路面病害检测的路线图
在这里插入图片描述

3.1表征学习

表征学习的核心原则是将图像转化为高水平、更抽象特征，以便于更好地描述不同类型的路面病害。通过已学习的特征就能在路面图像进行分类、检测、分割。

3.1.1分类网络

我们将这些分类网络根据用途再划分成3个子类，3类方法的特点如下表。
在这里插入图片描述

网络直接分类
作为常见的路面病害检测方法，CNN被直接用来分类，它可被分为二分类和多分类。二分类任务再划分成原始图像分类和定位感兴趣区域后分类，如下图所示。

二分类：原始图像分类指的是将完整图像直接输入网络进行训练。Fan等人训练一个深度神经网络来识别一个图像是否包含裂缝，然后，再使用一个自适应阈值算法来从路面中提取裂缝。Chen等人提出一个新的基于Transformer方法来沥青路面图像的自动分类，它在低计算开销下具有很好性能。
定位感觉兴趣区域(ROI)后再图像分类。一般来说，人们往往关注预先定义的区域是否存在病害。接着，ROI被喂入模型来分类病害。
多分类：多分类路面病害识别的目标是，识别路面不同类型的病害，比如裂缝，坑槽等。Tong等人提出采用两个CNN网络，一个多阶段CNN和一个级联CNN来，对地面探测雷达图像识别路基病害(不均匀沉降、空隙、路基裂缝)。

网络定位病害
实际上，分类网络也被用于病害定位和像素级分类。
网络作为特征提取器
网络的卷积层用来提取高水平表征，接着被提取的特征被喂入分类器用于分类病害。基于Swin-Transformer网络的方法被提出。
总结，基于分类网络的方法被广泛用于实际应用。CNN仍然是主要方法，但是Transformer模型为改进路面病害检测提供了新思路和选项。

3.1.2检测网络

目标检测方法迅猛发展。一般来说，病害检测网络根据器其结构被划分成两类：一是单阶段检测算法，包括SSD，YOLO系列，RetinaNet等；二是两阶段检测算法，最具代表性是Faster R-CNN和Cascade R-CNN。单阶段算法实现更快推理速度，同时两阶段检测算法提供较好的位置和目标识别率。

基于单阶段目标检测网络
单阶段目标检测方法包括SSD、YOLO系列、RetinaNet等。
SSD算法是一个端到端的模型，用于一次性多帧实时检测。端到端代表将原始数据直接映射成最终结果。这些网络使用不同卷积层的特征图来预测目标的分类和目标框的位置。使用非极大抑制(NMS)来生成最后检测结果。Xia使用SSD网络来检测和分割目标，以实现路面病害检测和定位，且划分不同病害水平。同时，使用一个弱监督标注方法生成一个代表性数据集。Yan提出一个可变形SSD网络模块，采用可变形卷积整合到VGG16方式，这在复杂环境下的道路裂缝的检测和分类上表现较好准确性。
部分研究对比了YOLO系列模型，并且挑选了合适的模型用于路面病害检测。基于YOLO模型的目标检测算法被广泛用于路面病害检测。
RetinaNet包括3个组成部分，一是特征提取网络，常见的有ResNet、VGG-Net、GoogleNet等，二是特征金字塔网络，再结合不同特征图来形成拥有各种尺度的同维度特征，实现精炼特征提取。三是分类和回归两个子网络用于分类和定位。分类子网络采用卷积目标分类；回归子网络采用卷积边界框回归。Ale提出一个基于RetinaNet方法实现检测各类路面病害。Ochoa-Ruiz等提出一个基于RetinaNet沥青路面病害数据集和检测系统，可实现对视频中准确地识别各类沥青结构病害。Tran等人提出一个基于RetinaNet的沥青路面裂缝检测方法，来检测和分类车道线和不同严重程度的疲劳裂缝、纵向、横向裂缝。
基于两阶段目标检测网络
Faster R-CNN、Segmentation R-CNN、Cascade R-CNN被用于路面病害检测。
总结地，随着目标检测网络的发展，我们期待越来越多的目标检测模型被应用于路面病害检测领域。

3.1.3分割网络

图像分割技术一般被分为语义分割和实例分割。语义分割是对输入图像的每个相似指派一个语义分类，进而密集像素级的分类；实例分割不仅识别分类，而且识别出该类下的个体。

语义分割
用于路面病害检测的像素级分割网络模型有FCN、U-Net、SegNet、DeepLabv3+等
实例分割
实例分割是预测一个掩码，它对应于每个目标实例的类别。实例分割模型Mask R-CNN被用于路面病害检测。Tran等人使用Mask R-CNN来检测和识别线性裂缝和疲劳裂缝，以及其严重程度。

3.2度量学习

度量学习技术是量化小样本间相似性，并且利用一个最优的距离度量来学习目标。基于深度学习的度量学习方法由两个主要组件：特征提取和距离度量。距离度量的作用是最小化两个同类样本的距离，同时最大化两个不同类样本的距离。深度距离度量学习是基于CNN的一个端到端图像相似性度量学习方法。

3.3正常样本学习

本文中正常样本输入是正常路面，病害样本是带有裂缝、塌陷等其他问题的路面。路面病害裂缝的样本被称为病害路面。病害检测方法被分为两类：基于图像空间的方法和基于特征空间的方法。

3.3.1基于图像空间的方法

基于图像空间的方法是在图像空间检测病害。

深度学习模型通常必要充足路面图像数据集来训练，但是路面图像仍然缺乏。因此，使用网络来检测病害或者直接重建图像是必要的。Fan等人提出一种基于非监督并行图像分割的路面病害检测算法。通过最小化能量函数，它关于砖井机的旋转角和路面差异投影模型。R.Sathya等人提出一个优化的深度循环神经网络。算法能够以小损失函数值来分类坑洞和非坑洞区域，并且对算法进行实验，在准确率、完整行、精确率和误差方面进行测试。Dual等人提出一个基于非监督学习映射方法，基于GAN来讲裂缝图像转化二值图像。
使用网络来搜寻路面病害，GANs包括生成器和鉴别器，它们被同时学习。生成器的目标是理解真实样本的固有分布，并生成新数据。相反地，鉴别器的功能为二分类器，其目标位准确地鉴别真实样本和模型生成的样本。Shamsolmoali等人提出一种结合了GANs的对抗空间金字塔网络。

3.3.2基于特征空间的方法

图像的分类进特征空间是一个深度神经网络的强项。基于特征空间的路面病害检测方法被广泛使用，通过分析在不同特征空间的不用路面病害的表征性，来检测病害。通过比较不同特征空间的特征表征，它能够找到和标注病害区域。

3.4弱监督和半监督学习

弱监督学习指的是仅使用部分标注数据或者弱标注信息来学习。在路面病害检测中，弱监督学习通过图像级标注或者区域级标注，而不是像素级标注来减少标注代价。
Chun等人提出一种基于全卷积神经网络，以及用于路面病害检测的部分标注学习。
在这里插入图片描述

Chen等人提出一种弱监督学习方法用于路面病害检测。该文称基于局部标注的方法，可减少人工标注并且实现路面病害检测。该方法的准确性经测试能够达到全监督学习相比的水平，而该方法不需要大量的人工标注。
半监督学习可用部分标注图像和大量未标注图像来进行训练。通过非监督学习，用未标注图像进行特征学习，且与标注图像一起进行训练模型，来增强模型的泛化能力。Han等人提出一种基于对抗生成系统的半监督学习方法来检测路面裂缝，并且还有一个基于条件GAN的弱监督学习。Shim等人提出一种结合超分辨率和采用GAN的半监督学习方法。
目前，半监督和弱监督路面裂缝检测的应用仍多于非监督。路面病害检测领域中，弱监督和半监督学习逐渐成为一个研究热点。这些方法可克服传统监督学习的需要大量标注数据的不足。在非完整的数据或者非准确的标注的情况下，仍然可以实现更好的性能。
非监督学习适合于数据标注困难，不完全或者不准确数据标注，交叉领域迁移学习，以及多模数据融合场景。
半监督学习或者弱监督学习是更加灵活，能够利用标注数据不彻底，标注不准确的优势。

4.基于三维数据的路面病害检测方法

4.1基于规则的三维路面病害检测方法

随着三维传感器的进步，获得高精度路面点云数据成为可能，它可能找到一个三维路面病害检测的解决方案。相较于二维图像，三维点云能够提供更丰富地理信息。Yu等采用Otsu阈值算法来提取候选裂缝；采用空间滤波器来清除极端值。采用欧式距离族算法来生长裂缝点形成族，它表征不同的裂缝线，并且提出一个基于L1中值技术来直接提前三维裂缝结构，从移动雷达点云所发获取的数据。

4.2基于深度学习的三维路面病害检测

在三维数据路面病害检测领域方面，运用深度学习技术取得显著进步。通过使用深度神经网络，在路面点云数据上执行特性学习和分类，一些研究检测部分目标，并测量它们间的空间关系，已实现更加准确地和有效地病害检测能力。

4.3基于图卷积的三维病害检测

当前基于点云的路面裂缝检测方法有三个主要的限制：1)从雷达系统获取的三维点云信息的形式为非结构的、乱序、不能使用常规网格形式的算法来说处理。主要的研究需求采用降维方法来将它们转化为图像形式或者体素形式，这将会造成知识衰退和错误检测。2)在复杂的大的路面上执行裂缝检测时，由于平坦的路面结构，当前方法经常是忽略空间相关性以及邻点的距离，造成不完整的结果。3)基于数据驱动的学习方法需要训练大量的参数。随着系统深度的增加，它会增大计算量，模型的性能严重依赖于标记的训练数据，标记的数据收集需要大量时间、劳动和成本投入。
为了解决以上问题，大量结合图卷积神经网络和点云裂缝检测，来实现高效地性能。图卷积神经网络的优势在于，考虑了节点与节点间关系以及图结构，有利于更好地捕获路面病害的纹理信息。Feng等人提出一种半监督三维路面裂缝检测方法CrackGCN，使用图GCN和使用图隐藏模块来构建点云图结构，用来提升GCN的检测有效性。通过使用少量标注数据来分类局部特征，防止数据退化并且减少标注数据的依赖。

5.关键问题

5.1小样本

路面病害检测是计算机视觉和深度学习技术的应用，用来自动识别和分类路面病害问题。相较于超过一千四百万个样本的ImageNet数据集，路面病害检测最大的问题是，数据集样本少。深度学习算法需要充足数量的标注数据来训练，所以需要获取大量数据。此外，准确地数据标注也需要专业领域知识和时间成本。同时，路面病害有很多类型，比如坑洞、裂缝、鼓包等；有不同类型裂缝样本数目也许不平衡，造成模型训练于少量的分类，且性能表现差。当前，有三种不同的解决方式：数据预处理、网络预训练或者迁移学习、使用无监督和半监督模型方法。

5.2检测准确性和实时性

对于路面病害检测，需要准确性和实时性能。路面病害各种各种，且每一种病害的形状和特点是不同的。因此，模型需要有能力准确地识别和鉴别不同类型的病害。在雨天或者路上存在一滩水，这些水面会反应周围环境，这些造成图像中波纹和扭曲。这将会模型病害的边缘信息，增加检测困难。路面病害将会影响在自动驾驶中车辆控制的性能。然而，路面病害检测模型应该识别不同类型的裂缝，且通过实时情况下快速决策。
一般地，模型也许拥有更复杂的算法，更过的参数，这导致更长的推理时长。
为了实现更加实时性响应，一个优化措施被采用，比如使用更高效算法，模型压缩和加速技术等。然而，简化模型也许导致错误结果或者不可靠判断。路面异常检测要求处理大量数据和请求。因此，设计和优化模型时，需要考虑准确和实时性的平衡，尽量达到模型最高效。

5.3模型泛化能力

高泛化性的模型可以适应一个新的和未见过的数据，在不同环境和任务中展现出稳定和可靠的性能。路面病害检测面临独一无二的挑战，面对传统识别、检测和分割任务，由于路面病害的各种各种形状，以及路面环境和条件的变化，包括季节变化，不同天气条件，以及变化光线条件。如何提升模型在不同环境间的泛化能力，如何适应新环境，这些是挑战问题。