基于机器视觉的路面裂缝检测

  课题  基于机器视觉的路面裂缝检测

摘要

裂缝是最常见的路面损坏，可能会危及公路和高速公路的安全。在路面裂缝变的更糟糕之前及时进行修补，可以大大节省路面维修的资金。路面裂缝是评估道路状况，并进行必要的道路维修的重要信息。在过去的二十年，由于基于图像的路面裂缝检测技术提供了一个安全，高效，经济的方式，各种图像处理方法已被提出的路面裂缝检测。

基于假设沿裂缝的强度通常低于背景的强度，周围的路面，强度阈值已被广泛使用于检测裂纹。然而，这些阈值的方法只能产生不相交的裂纹碎片，因为强度沿裂纹可能无法持续低于背景。此外，路面阴影往往导致路面图像的照度不均匀，其还可以降低该阈值设定方法的性能。基于边缘检测的方法也被用于裂纹检测。然而，可能出现的低对比度裂缝和背景之间的散斑裂纹可能会将存在于背景的许多散斑噪声误认为裂纹片段。与传统的人工检测方式相比，视觉检测效率高、自动化程度和安全性更强，本课题拟对基于视觉的路面裂缝检测方法进行研究。传统的基于图像的路面裂缝检测方法通常假设路面裂缝图片具有较高的对比度和较好的连续性，但实际生活中往往不是这样的。这是因为，1)路面影像常常含有路面来自于树木，电线杆以及其他事物的阴影造成的亮度不均匀；2)路面各种纹理带来大量的点状噪声；3)路面裂缝由于汽车载重碾压、风化等作用发生退化造成其对比度下降、连续性降低。以上原因，使得裂缝在路面影像中表现为低信噪比的线状目标，给裂缝的自动化识别带来了很大的困难。为了解决这些问题，我们开发了大地测量学的阴影去除算法去除路面的阴影，而保留的裂缝。然后对去除阴影后的裂缝进行预处理，最后做裂缝提取。

关键字：裂缝 路面阴影 大地测量学 阴影去除 裂缝提取

             目 录

摘要                                                              i

Abstract                                                           iii

第一章 绪论........................................................1

     1.1 引言.................................................................1

     1.2 研究的目的与意义.....................................................2

     1.3 国内外研究现状.......................................................2

       1.3.1 线状目标的增强与提取.............................................3

       1.3.2 路面裂缝的增强与提取.............................................4

       1.3.3 目前存在的问题...................................................4

     1.4 基于机器视觉图像处理的应用...........................................5

第二章 数字图像预处理...............................................5

    2.1 引言........................................................5

2.2 图像灰度化...................................................6

2.3 图像去噪.....................................................6

2.4 图像的边缘提取................................................7

      2.5.1几种算子的比较..............................................8

      2.5.2边缘检测结果对比分析和评价..................................9  

•  基于亮度高程模型的路面阴影消除.................................10

     3.1 引言........................................................11

     3.2 相关工作....................................................12

     3.3 测地阴影去除.................................................13

       3.3.1 具有纹理均衡能力的亮度补偿方法.............................14

       3.3.2 基于亮度等高区域划分的阴影消除............................14

      3.3.3 实验结果.................................................

     3.4 裂缝地图生成.................................................15

       3.4.1 检测裂缝像素..............................................16

       3.4.2 张量投票裂纹增强..........................................17

•  基于灰度图像及其纹理特性的裂缝特征提取.....................18

     4.1 引言....................................................18 

      4.2 图像预处理...............................................19

       4.2.1 多种裂缝图像格式的识别.....................................19

       4.2.2 灰度化...................................................20

       4.2.3 灰度拉伸.................................................20

       4.2.4 二值化...................................................21

       4.2.5 边缘增强.................................................21

      4.3 边缘提取................................................22

      4.4 灰度图像形态学..............................................22

       4.4.1 膨胀和腐蚀..............................................23

      4.4.2 开运算和闭运算..........................................24

第五章 总结........................................................27

参考文献...........................................................28

附 录..............................................................29

一、英文原文.................................................29

二、英文翻译..................................................33

第一章 绪论

1.1引言

    本章介绍本论文的研究目的与意义、国内外研究现状，论文的研究内容和组织结构。其中：

 1.2节介绍本文的立题依据与研究意义。

 1.3节综述了国内外关于路面裂缝检测的研究现状和进展。

 1.4节提出本文的研究目标、研究内容、研究方法及拟解决的关键问题。

 1.5节简述了本文的组织结构安排。

1.2 研究的背景与意义

    目前，我国高等级公路的建设取得空前发展，特别是在国家《公路、水路交通“十一五”发展规划》的推动下，截至2011年底，全国高速公路通车总里程已达8.}万公里，二级以上公路达到4万公里。随着公路的建成通车，路面养护与管理已成为保障道路服务水平的关键，公路路面状况的基础数据调查迫切需要先进的技术和科学的方法作为支撑。《国家中长期科学和技术发展规划纲要》将“交通运输基础设施建设与养护技术及装备”作为重点领域及其优先主题;《公路水路交通“十一五”科技发展规划》将“道路预防性养护与快速维修技术、无损检测技术、多功能养护设备研究开发”作为重大专题攻关项目。在此背景下，公路路面养护自动化的研究也得到越来越多的重视。

    在公路养护管理中，路面破损状况指数(PCI)是决策养护方案的最重要的数据。而路面裂缝类病害作为是路面破损检测的重要内容，其自动化检测一直是公路路面破损检测的热点和难点。路面裂缝的传统检测方式是定期的人工检测，由于人工检测效率低、主观性大、安全性差等，它无法满足路面破损快速检测的要求。随着科技的进步，图像检测技术得到了快速的发展，由于其具有检测速度快、测量准确、自动化程度高、获取信息丰富等特点，已经广泛应用于工业在线表面质量检测等领域。基于影像的检测手段已逐步成为路面裂缝检测的重要手段，然而由于路面裂缝具有细小不连续、对比度低、分叉且不规则等特点，使得传统的线状目标提取与识别算法不能满足要求。目前的商业化系统仍需人工交互来实现从图像中提取路面裂缝，其工作内容枯燥，工作量巨大，因此研发全自动的路面裂缝识别方法具有重要的意义。

    传统的基于闽值化、边缘检测、小波变换等的裂缝自动检测算法假设路面裂缝在路面影像中具有较高的对比度和较好的连续性，但这种假设在工程实践中往往不成立。由于受路面阴影、裂缝退化等的影响，一部分裂缝相对于路面背景具有极低的信噪比，造成传统的裂缝检测算法失效。因此，本文专门针对低信噪比的路面裂缝的增强与提取进行研究，对提高裂缝检测的自动化水平具有重要意义。

1.3 国内外研究现状

    路面裂缝是典型的线状目标，其增强与提取属于线状目标检测的研究范畴。与一般线状目标相比，路面裂缝具有自身的特点:宽度小、对比度低、连续性差、有分叉和不规则，它只在宏观上呈现出线状特征[17,85]。本节内容首先回顾国内外对线状目标检测的研究，然后介绍基于影像的路面裂缝检测的研究进展。

1.4 基于机器视觉图像处理的应用

图像是人类获取和交换信息的主要来源，因此，图像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。

视觉是人类最重要的感知手段，图像又是视觉的基础。早期图像处理的目的是改善图像质量，它以人为对象，以改善人的视觉效果为目的。图像处理中输入的是质量低的图像，输出的是改善质量后的图像。常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊者7号在1964年发回的几千张月球照片进行图像处理，如几何校正、灰度变换、去除噪声等，并考虑了太阳位置和月球环境的影响。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，获得了月球的地形图、彩色图及全景镶嵌图，为人类登月创举奠定了基础，也推动了数字图像处理这门学科的诞生。在以后的宇航空间技术探测研究中，数字图像处理技术都发挥了巨大的作用。

数字图像处理技术取得的另一个巨大成就是在医学上。1972年英国EMI公司工程师Housfield发明了用于头颅诊断的X射线计算机断层摄影装置，也就是我们通常所说的CT（Computer Tomograph）。CT的基本方法是根据人的头部截面的投影，经计算机处理来重建截面图像，成为图像重建。1975年EMI公司又成功研制出全身用的CT装置，获得了人体各个部位鲜明清晰的断层图像。1979年，这项无损伤诊断技术被授予诺贝尔奖，以表彰它对人类做出的划时代贡献。

从20世纪70年代中期开始，随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理技术向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像，类似人类视觉系统理解外部世界，这被称为图像理解或计算机视觉。很多国家，特别是发达国家投入更多的人力、物力到这项研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论，这个理论成为计算机视觉领域其后十多年的主导思想。

20世纪80年代末期，人们开始将其应用于地理信息系统，研究海图的自动读入、自动生成方法。数字图像处理技术的应用领域不断拓展。

数字图像处理技术的大发展是从20世纪90年代初开始的。自1986年以来，小波理论与变换方法迅速发展，它克服了傅立叶分析不能用于局部分析等方面的不足之处，被认为是调和分析半个世纪以来工作之结晶。Mallat在1988年有效地将小波分析应用于图像分解和重构。小波分析被认为是信号与图像分析在数学方法上的重大突破。随后数字图像处理技术迅猛发展，到目前为止，图像处理在图像通讯、办公自动化系统、地理信息系统、医疗设备、卫星照片传输及分析和工业自动化领域的应用越来越多。

进入21世纪，随着计算机技术的迅猛发展和相关理论的不断完善，数字图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就。属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等。该技术成为一门引人注目、前景远大的新型学科。

  

 第二章 数字图像预处理

2.1 引言

   图像预处理是相对于图像识别、图像理解而言的一种前期处理。不论采用何种装置，输入的图像往往不能令人满意。例如，从美学的角度会感到图像中物体的轮廓过于鲜明而显得不协调；按检测对象物大小和形状的要求看，图像的边缘过于模糊；在相当满意的一幅图像上会发现多了一些不知来源的黑点或白点；图像的失真、变形等。总之，输入的图像在视觉效果和识别方便性等方面可能存在诸多问题，这类问题不妨统称为“质量”问题。

   改善图像质量的处理称为图像预处理，主要是指按需要进行适当的变换突出某些有用的信息，去除或削弱无用信息，如改变图像对比度，去除噪声或强调边缘的处理等。由于我们拍摄的裂缝图片大多都存在噪声等各种问题，直接进行提取处理效果不理想。所以我们首先将其进行预处理，以使实验效果更理想。预处理的基本方法有：图像的频域特性、直方图变换、灰度变换、图像平滑、图像锐化、伪彩色和假彩色处理等。本章将用部分方法对图像进行处理。

2.2 图像灰度化

一般摄像头得到的裂缝图像是24位真彩色图，需转换成灰度图，一方而便于后续的更快速图像处理，另一方而也是对处理多种颜色路面裂缝进行了统一。而且后续的一些处理方法也要求图像是灰度图，所以我们首先对裂缝图像进行灰度化处理。

灰度化可以采用现行标准的平均值法。在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度范围为0-255。一般有以下四种方法对彩色图像进行灰度化：

  1.分量法

将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，可根据应用需要选取一种灰度图像。

    f1(i,j)=R(i,j);f2(i,j)=G(i,j);f3(i,j)=B(i,j)                           2-1

其中fk(i,j)(k=1,2,3)为转换后的灰度图像在（i,j）处的灰度值。

  2.最大值法

将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。

f(i,j)=max(R(i,j),G(i,j),B(i,j))                                       2-2

  3.平均值法

将彩色图像中的三分量亮度求平均得到一个灰度值。

f(i,j)=(R(i,j)+G(i,j)+B(i,j)) /3                                       2-3

 4.加权平均法

根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像。

f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j))                              2-4

在这里，我们只用加权平均法对裂缝图像进行处理，其主要代码如下：

       function J = rgb2gray2(I)

      J = 0.299 * I(:,:,1) + 0.587 * I(:,:,2) + 0.114 * I(:,:,3);

 结果如图：

  原图：

                             图1  原图

灰度后图片：

                                  图2 灰度后

   由于我们后面的各种处理包括预处理都需要把图像转为灰度图像，所以对图像进行灰度处理还是很有必要的。

2.3 图像去噪

 现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像去噪。 实际图像中，多少都会存在一些噪声，而使图像模糊，从而使实验结果不是那么直观，影响我们判断。所以本节我们针对裂缝图像进行去噪。

2.3.1 噪声特性

    噪声是图象干扰的重要原因。一幅图象在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。在对这个含噪模型进行研究之前，我们有必要了解一下噪声的一些特性，经常影响图像质量的噪声源可分为三类。人们对其生成原因及相应的模型作了大量研究[3]:

1、电子噪声。在阻性器件中由于电子随机热运动而造成的电子噪声是三种模型中最简单的，一般常用零均值高斯白噪声作为其模型，它可用其标准差来完全表征。

2、光电子噪声。由光的统计本质和图像传感器中光电转换过程引起，在弱光照的情况下常用具有泊松分布的随机变量作为光电噪声的模型，在光照较强时，泊松分布趋向于更易描述的高斯分布。

3、感光片颗粒噪声。由于曝光过程中感光颗粒只有部分被曝光，而其余部分则未曝光，底片的密度变化就由曝光后的颗粒密集程度变化所决定，而算曝光颗粒的分布呈现一种随机性。在大多数情况下，颗粒噪声可用高斯白噪声作为有效模型。

通过以上分析可以看出，绝大多数的常见图像噪声都可用均值为零，方差不同的高斯白噪声作为其模型，因而为了简便和一般化，我们采用零均值的高斯白噪声作为噪声源。

 2.3.2 去噪方法

对随时间变化的信号，通常采用两种最基本的描述形式，即时域和频域。时域描述信号强度随时间的变化，频域描述在一定时间范围内信号的频率分布。对应的图像的去噪处理[4]方法基本上可分为空间域法和变换域法两大类。前者即是在原图像上直接进行数据运算，对像素的灰度值进行处理。变换域法是在图像的变换域上进行处理，对变换后的系数进行相应的处理，然后进行反变换达到图像去噪的目的。

  （1）空域滤波

1 均值滤波

邻域平均法是一种局部空间域处理的算法。设一幅图像f(x,y)为N×N的阵列，处理后的图像为g(x,y)，它的每个像素的灰度级由包含(x,y)领域的几个像素的灰度级的平均值所决定，即用下式得到处理后的图像:  

式中x,y=0,1,2,....,N-1；s是以(x,y)点为中心的邻域的集合，M是s内坐标总数。图像邻域平均法的处理效果与所用的邻域半径有关。半径愈大，则图像模糊程度也愈大。另外，图像邻域平均法算法简单，计算速度快，但它的主要缺点是在降低噪声的同时使图像产生模糊，特别在边缘和细节处，邻域越大，模越厉害。

2 中值滤波

中值滤波是一种非线性滤波，由于它在实际运算过程中并不需要图像的统计特性，所以比较方便。中值滤波首先是被应用在一维信号处理技术中，后来被二维图像信号处理技术所应用。在一定的条件下，可以克服线性滤波器所带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。但是对一些细节多，特别是点、线、尖顶细节多的图像不宜采用中值滤波的方法。

中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替。

设有一个一维序列

，

，…，

，取窗口长度为m(m为奇数)，对此序列进行中值滤波，就是从输入序列中相继抽出m个数，

，…，

，…，

，…，

，…，

，其中

为窗口的中心位置，v=(m-1)/2,，再将这m个点按其数值大小排列，取其序号为正中间的那作为出。用数学公式表示为:

例如：有一个序列为{0，3，4，0，7}，则中值滤波为重新排序后的序列{0，0，3，4，7}中间的值为3。此例若用平均滤波，窗口也是取5，那么平均滤波输出为(0+3+4+0+7)/5=2.8。因此平均滤波的一般输出为:

          

对于二位序列{Xij}进行中值滤波时，滤波窗口也是二维的，但这种二位窗口可以有各种不同的形状，如线状、方形、圆形、十字形、圆环形等。二维数据的中值滤波可以表示为：

 

               

                  

在实际使用窗口时，窗口的尺寸一般先用3×3再取5×5逐渐增大，直到其滤波效果满意为止。对于有缓变的较长轮廓线物体的图像，采用方形或圆形窗口为宜，对于包含尖顶角物体的图像，适宜用十字形窗口。使用二维中值滤波最值得注意的是保持图像中有效的细线状物体。与平均滤波器相比，中值滤波器从总体上来说，能够较好地保留原图像中的跃变部分。