【迁移学习】【应用】柏油路路面破损检测

基于迁移学习的无重神经网络在柏油路路面破损检测中的应用20190115 IJAERS

摘要：本文提出了一种解决道路路面破损自动检测问题的方法，即更精确地检测路面上的坑洞。为此，建议的解决方案使用一个称为wisard的无重神经网络来决定道路图像是否有任何类型的裂缝。此外，所提出的架构也显示了使用迁移学习如何能够提高决策系统的整体准确性。作为研究的一个验证步骤，利用巴西托坎蒂斯联邦大学街道上的图像进行了一项实验。所开发的解决方案的体系结构在数据集中显示了85.71%的准确性，证明其优于最先进的方法。

关键词：破损检测，迁移学习，wisard

 

1. 引言

在巴西，大部分交通是在柏油路上行驶的。根据国家运输联合会（CNT）2018年8月的静态公告，公路运输占货运矩阵的61%。由于如此高的交通需求，巴西需要更多的沥青道路。

尽管巴西的公路运输十分重要，但由于道路和公路状况，仍存在严重问题。检测问题，如裂缝和其他损坏，成本高昂，通常由运输机构手动进行。不幸的是，公路上出现的坑洞比探测到的要快。因此，缺乏更优质的道路已经导致了经济货币价值外展的后果，例如致命事故，已经夺去了许多不可替代的生命。

人工智能技术的进步与图像处理研究相结合，为计算机视觉这一新领域提供了背景。这一领域应用了能够通过模拟人类视觉感知的算法模拟人脑行为的技术。这样，本文给出了一个基于计算机视觉的在已铺筑道路的图像中检测是否存在危险（损坏）的技术的系统的结果。

因此，提出的解决方案的架构使用一个称为wisard的无重神经网络模型，以及能够选择输入图像特征的迁移学习。

目前，国内外对缺陷检测问题的研究还很多。Ouma和Hahn提出了柏油路中初始或微线状缺陷的提取和识别方法。为此，它们的系统主要由三种方法组成：离散小波变换分离和分类故障；连续形态变换滤波检测故障形状；圆形Radon变换用于角度几何方向分析，用于识别和分类故障类型。因此，他们的系统达到了83.2%的精度。

Rodopoulou 他展示了一种通过视频检测沥青路面上的补丁的方法。通过其视觉特征（包括周围的闭合轮廓和纹理）检测斑块。该算法具有84%的检测精度。

Gopalakrishnan et al. 他们使用迁移学习（TL）来分类柏油路是否有损坏。对于这一任务，该模型使用了一个预训练的神经网络VGG16来迁移学习任务。对于分类任务，它使用了单层感知器。结果，Gopalakrishnan在他的数据集上获得了0.9的精度。

对于自动裂纹检测，Hoang等人应用了边缘检测和机器学习两种方法。在边缘检测方面，采用了Sobel和Canny算法，均采用了花授粉元启发式算法来确定边缘的阈值。第二种算法使用卷积神经网络进行检测和分类。第一种方法，使用过滤器，Canny和Sobel的精确度分别为76.69%和79.99%。当使用CNN时，第二种方法的精确度为92.88%。

此外，张研究了一个由800个低相似性图像组成的数据集。它的分类系统还使用了迁移学习范式，以便从深层卷积神经网络的第一层中提取一般知识。这种人工神经网络是使用IMAGENET数据库预先训练的。之后，在下一个ANN层上使用了微调策略。张氏方法的召回率为0.951，精密度为0.847，F1测量值为0.895。

本文的其余部分结构如下：第二部分介绍了神经网络和迁移学习的基本原理。提出的方法见第3节。此外，第4节总结了这项工作的实验和结果。最后，在第5节中，有一些最后的评论和未来对这项研究的任命。

2 人工神经网络和迁移学习

通常，回归和分类模型由固定基函数的线性组合组成。这些模型具有分析和计算特性，在实际情况下，这些特性受到维度的限制。这样，在这些模型应用于大规模问题之前，就必须使基函数与数据相适应。

根据Bishop的观点，对于模式识别任务，最成功的模型是人工神经网络（ANN）。这个术语开始被用来代表无神论的知觉器，这鼓励了一系列知觉器和神经网络模型的建立。

2.1 深度卷积网络和迁移学习

卷积神经网络（CNN）是一种能够创建对某些输入变换不变的模型的神经网络。这种人工神经网络可能是最著名的深度学习（DL）模型，最常用于计算机视觉任务，尤其是图像分类。CNN结合了三种架构机制来保证变形的不变性。具体来说，这些机制是：局部接受域、权重分配和子抽样。其体系结构的基本构建块是卷积、池化层（子采样）和完全连接的层（如多层感知器）。CNN的基本结构如图1所示。

卷积层由单元组成，单元被组织成平面。每一个这样的单元称为特征图。每个特征图都是从输入矩阵的小子区域派生出来的。值得一提的是，图像中的卷积算子可能具有许多参数，如步幅、边界模式和内核大小。子采样层负责使网络更加不变。在这种情况下，max pooling操作符是最常用的。因此，全连接层位于卷积层的末端，以类似于多层感知器的方式工作，以便学习对数据进行分类的权重。

深卷积神经网络（DCNN）通常需要大的图像数据集来实现高精度。不幸的是，在某些问题中，没有这样的数据量。在这种情况下，迁移学习（TL）方法是一个有趣的选择。sinno将tl定义为：给定一个源域ds和一个学习任务ts，一个目标域dt和一个学习任务tt，迁移学习的目的是利用知识改进dt中目标预测函数ft（·）的学习。在ds和ts中，其中ds≠dt或ts≠tt。因此，在实践中，当一个人想要进行转移学习时，有许多现成的模型。例如，在大型图像数据集（如ImageNet2）中预先训练的成熟神经网络。这些模型允许将他们的学习能力转移到一个新的分类场景，而不需要从头开始训练DCNN。其中一些预先训练的模型可以在TensorFlow3这样的框架中找到。只是为了说明，一些例子包括：vgg-16[5]、alexnet、Inception V3 and Xception . 本次研究选择了最后一个。

Xception 模型的体系结构由36个卷积层组成，构成其特征提取基础。这些层被构造成14个模块，除了第一个和最后一个模块外，所有模块都相互连接。简而言之，它的体系结构是一个具有剩余连接的纵向可分离卷积层的线性堆栈。

2.2 Wisard 无权重神经网络模型

wisard是一种基于神经原理的模式识别机器（预计将在硬件设备中实现）。wisard由称为鉴别器的类单元组成。每个鉴别器容纳一组基于RAM的神经元。这些神经元具有记忆行为，如随机存取记忆。地址是二进制模式，如果在这个地址中有信息，那么神经元就会启动。总之，一个wisard设备的主要组成部分是：一个地址解码器、一组存储器寄存器、一个具有输入数据的寄存器和一个输出数据的寄存器。

前面描述的基于RAM的神经元可以看作是一个给定输入模式的神经元，它存储所需的输出。在培训和可能的重新培训步骤中，给定地址的模式可以被后续培训步骤中的其他值覆盖。因此，wisard不同于普通的神经网络，因为它不需要复杂的训练算法。

在wisard中，最简单的具有泛化特性的基于RAM的网络称为鉴别器。鉴别器由一个k rams层组成，该层处理n个输入。每个RAM存储一个位的2n个字，单层接收kxn位的二进制模式。培训包括显示输入模式（二进制），并将所需的值（1或0）存储在由所显示模式寻址的内存位置中。然后，每个RAM存储输入模式的一部分。当出现一个测试模式时，鉴别器输出被激发的RAM的数量。图2说明了wisard的鉴别器的结构。

WISARD由一个多鉴别器系统组成，其中每个鉴别器都经过训练以识别不同的类。

3 提出的方法：基于迁移学习的WISARD

该方法利用预训练的Xception 深卷积神经网络对输入图像进行预处理。当输入图像插入到Xception 模型中时，它将生成一个具有2048个特征的输出向量。然后，这些特性被用作无重神经网络WISARD的输入，WISARD计算点火RAMS的总和。在这种情况下，如果激发的神经元的总和大于给定的阈值，则输入图像被分类为阳性，即它有任何类型的破损。

 

在所提出的解决方案中，使用来自ImageNet数据库的常规图像对Xception 进行了预训练。此外，为了应用迁移学习，最后一层的预训练例外已经被wisard模型所取代。wisard模型作为最终分类器的选择是由其在使用和学习方面的高性能决定的。因此，整个系统如图3所示。

 

wisard模型的配置参数之一是组成网络层的RAM数量。当Xception 网络的最后一层生成2048个特性的输出时，RAM的重量将减少。网络仅取决于为每个RAM定义的输入数量。在这种情况下，这项工作还调查了这个参数的影响。这个在第4节中，对每个RAM的输入大小的评估值进行了更好的描述。

最后，还需要预先处理wisard模型使用的输入数据。wisard使用的标准输入视网膜是一个二进制数据流。这样，就可以使用数组平均值作为阈值对异常的输出进行二值化。整个模型是使用3.6版的python编程语言和深度神经网络的keras API实现的。

4 实验结果和讨论

为了评估所提出的模型，收集了一个具有真实图像的数据集。一个无人机模型范顿被用来拍照。无人驾驶飞机飞过大学校园的街道。本实验共采集78张（78张）图像，其中坑洞照片63张，无问题照片15张。每个图像都是手动标记的。图4显示了所收集数据库的一些样本。

测试方法是交叉验证，其中数据库被分为60个用于培训的阳性图像（带凹坑）和3个用于测试的阳性图像。

对阴性图像（无凹坑）进行分割，使系统接受了14个样本的培训，并对每个子集仅使用一个阴性样本进行评估，通过交叉验证程序进行选择。此外，测试的操作程序是“漏掉一项”，这是一种广泛用于评估分类系统的方法。因此，每个测试子集由3个正图像和1个负图像组成，其余图像用于训练。在一个交叉验证步骤结束时，测试子集被再次插入到整个集合中，而另一个测试子集被分离出来，由系统进行评估。

使用上述数据集，进行了两个实验，其中包括：a）使用wisard方法而不使用迁移学习（标记为“不使用tl”）；和b）使用第3节中提出的架构（标有“TL”）。此外，还实施了Gopalakrishnan提出的相关工作，以便与该工作的报告结果进行比较。图5总结了实验a）和b）的结果。

（在数据集77张图片上的命中率）

如图5所示，使用迁移学习大大提高了分类系统的准确性。如第3节所述，wisard参数之一是每个基于RAM的神经元使用的输入数。因此，图5显示了该参数在整个分类性能中的变化（9到14）的敏感性。可以看出，当该参数设置为12时，分类系统的精度达到84.71%，是目前为止最好的。另一方面，在不进行迁移学习的情况下，对系统进行评估时，最佳结果为42.86%。

为了验证模型的有效性，将其与Gopalakrishnan提出的相关工作进行了比较。它的结构包括使用预先训练的神经网络模型vgg16作为迁移学习的基础，以及作为分类模型的单层感知器神经网络，输入层有256个神经元。Gopalakrishnan的模型在与本研究相同的测试方法下进行了培训和测试。每个系统的最佳结果汇总在选项卡中。

如表1所示。1所提出的模型能够过度执行最先进的解决方案之一，用于检测铺砌道路上的坑洞。由于Gopalakrishnan[10]使用的数据库不是公开的，因此无法评估拟议工作的性能测试。

5 结论

本研究探讨了利用计算机视觉对铺筑道路上有洞的图像进行分类的问题。在这项工作中，WISARD失重神经网络被评估为一个有孔和无孔图像检测系统。该方法利用预训练卷积神经网络，称为Xception 。利用存储在Xception 中的一般图像知识，利用迁移学习对输入图像进行预处理并产生特征作为结果的检测系统结构。然后将这些特征插入到wisard网络的输入数据中，生成输入图像的标签，为了评估所提出的结构，进行了一个实验，其中包括77个有凹坑和没有凹坑的图像。实验结果表明，转移学习方法能有效地提高系统的总体精度，从42.86%提高到85.71%。此外，与最先进的解决方案相比，所提出的方法以11.2%的优势战胜了之前的方法。未来的一些见解包括使用实时检测解决方案定位图像中的凹坑。

待看的三篇引用

[4] K. Gopalakrishnan, S. K. Khaitan, A. Choudhary, and A. Agrawal, “ Deep Convolutional Neural

Networks with transfer learning for computer visionbased data-driven pavement distress detection,” Construction and Building Materials, vol. 157, pp. 322–330, 2017.

[6] H. Nhat-Duc, Q.-L. Nguyen, and V.-D. Tran, “ Automatic recognition of asphalt pavement cracks using metaheuristic optimized edge detection algorithms and convolution neural network,” Autom. Constr., vol. 94, pp. 203–213, 2018.

[7] K. Zhang, H. D. Cheng, and B. Zhang, “ Unified Approach to Pavement Crack and Sealed Crack

Detection Using Preclassification Based on Transfer Learning,” J. Comput. Civ. Eng., vol. 32, no. 2, p. 04018001, 2018