【自动驾驶】杜明芳：基于多尺度IPM图的车道线检测实现

摘要:针对无人车自然道路图像检测时遇到的实时性和精度相互制约矛盾，借鉴自校正自适应控制系统理论的思想，提出一种自校正闭环道路视觉检测器架构，并提出一种新型检测器实现算法——基于多尺度IPM图(（Inverse Perspective Mapping）)自适应边缘提取的车道线检测算法。以目前全世界范围内研究车道线检测公用的数据平台加州理工车道数据集作为本文算法测试和验证的平台。实验结果表明，在多尺度IPM道路俯视图ROI区域检测车道线不仅可有效解决传统利用Hough变换检测车道线时干扰点多、车道线拟合困难的难题，还可大幅提升系统实时性，算法处理速度比在前视图直接检测车道线快近10倍。

关键词：车道线检测器，IPM图，自适应多尺度边缘特征，二维小波变换

基于多尺度IPM图的车道线检测实现

5 IPM车道俯视图像获取

如果直接对原图（即前视图）进行边缘提取，则会将车道线目标外的大量非目标边缘也一同提取出来，如树木、交通标志、车辆、行人等，这些构成车道线检测的干扰源。典型的检测失败案例如图5所示。这也正是传统的利用Hough变换进行车道线检测的难点。

                                                         （a）原始车道图像 (b)Hough变换检测结果

                                                     图5 直接在前视图上检测车道线的失败案例

三维道路场景在二维图像平面上的透视映射过程对后续的边缘提取及车道线建模带来不利条件。逆透视映射（Inverse Perspective Mapping, IPM）是透视映射的逆过程，可利用摄像机的角度、高度等位置信息建立三维坐标系，消除透视作用，得到场景的俯视图。经过逆透视映射之后，原本有相交趋势的车道线转化为俯视图中的平行线，更便于检测。

本文IPM车道俯视图的获取方法如下。

首先，在原始车道图像（640*480像素）上初步选定车辆正前方车道线明显出现的矩形区域（两车道模式下为226*122像素，四车道模式下为560*130像素），确定为车辆行驶过程中的感兴趣区域（ROI），如图6所示。

                                                                (a)两车道模式 (b)四车道模式

                                                                          图6 车道ROI区域

对车道ROI区域图像进行逆透视映射变换，可得到路面俯视图，如图7所示。对比原图和俯视图，显然俯视图中的车道线更加清晰（基本平行），且道路全貌清晰，手工便可分割出有用的道路区域，因此更便于检测。

                                                      (a)原始图像ROI (b)IPM俯视图

                                                    图7 无阴影四车道ROI区域IPM俯视图

6实验与分析

加州理工车道数据集目前是全世界范围内验证车道线检测效果的公用数据平台，本文选择此数据集作为算法测试的实验平台。

由于视觉导航过程是一个对实时性要求很高的过程，因此只选择感兴趣道路区域（车辆前方纵向1~15米，横向-4~4米）进行逆透射变换，并且只对该部分IPM俯视图（148*148像素）进行预处理。去噪、压缩处理采用biorNr.Nd、sym小波系。

6.1去噪

软阈值量化消噪后的图像能将大部分噪声除去，消噪效果比硬阈值好。本文采用Bal.sparsity-norm(sqrt)软阈值法对IPM道路图像进行去噪处理，根据道路图像实际特点分层设置恰当的阈值，以达到去噪后对原图像的最佳近似。子图像阈值设置情况如图8所示。

                                                                            图8 各尺度子图像阈值设置

分解及去噪后的图像如图9所示。

                                                                                                 图9 bior3.7去噪处理

去噪前后直方图对比如图10所示。

                                                                          （a）去噪前 (b) 去噪后

                                                                              图10 去噪前后直方图

通过对比可见，去噪后高频部分噪声得到抑制，图像变得相对平滑。

6.2 压缩

采用去除0附近系数法或Balance sparsity-norm法对消噪后的图像进行压缩处理。实验结果如图11。

                                                               图11IPM图压缩

图像压缩前大小为287K，压缩后去除0附近系数法、Balance sparsity-norm法分别为30K、20.8K，压缩比分别约为10%、7%，视觉效果良好。这为实时图像处理提供了保障。

6.3 边缘特征提取

采用二维样条滤波器对原图进行数字滤波处理，逐级计算小波变换的模，本实验共计算5级，结果如图12所示。

                                                            图12 加州理工车道线多尺度边缘检测结果

上排从左到右依次为原图、1级边缘、2级边缘；下排从左到右依次为3级边缘、4级边缘、5级边缘。从图中可看出，1级边缘的提取效果最好，适用于各种路况条件（晴天、雨天、有无遮挡等）；二级边缘在路况条件较好（如光线正常、采集到的原始图像清晰、动态障碍物干扰少等）时也可以使用；三级及以下的边缘不清晰，在导航精度要求高情况下不宜使用。1级边缘、2级边缘的检测结果说明：（1）该方法不存在车道线漏检现象；（2）车道线外的干扰点非常少，完全可通过进一步滤波处理得到干净的车道线；（3）1级边缘、2级边缘检测结果都可用，可根据路况自适应选择边缘检测的级别，选择2级时是一种压缩感知法，将大幅提高系统处理速度，有利于系统实时性的提高。

为对比检测效果，再采用自适应阈值的Sobel算子对同样图像进行边缘特征提取，结果如图13。

                       图13 IPM图Sobel算子边缘检测结果

Sobel算子边缘检测结果表明：（1）阈值=0.02时能够检测出全部的车道线，但此时同时检出的干扰点也比较多，这比小波多尺度法效果差很多；（2）自适应阈值下并不能检测出全部车道线，存在漏检，而小波法不存在；（3）Sobel算子的检测速度的确非常快。对于实际道图像序列，很难确定出不存在漏检的自适应Sobel算子阈值，因此Sobel算子法具有局限性。

6.4车道线检测

在采用小波多尺度边缘检测基础上，采用概率Hough变换检测1级、2级IPM图像中的车道线，结果如图14。

图14 IPM道路图概率Hough变换检测车道线结果

实验结果表明，车道线提取结果稳定、准确，且算法速度比直接在前视图上提取车道线快了近10倍。

7 结束语

车道线是无人车最基本的导航标志，其检测技术是无人车道路环境感知系统的核心技术。以往的车道线检测算法多基于前视图进行，Hough变换提取车道线的结果实际上存在大量干扰线段，其后处理带来了算法复杂度的增加以及系统实时性的降低。本文提出一种闭环自适应车辆视觉检测器架构，并基于IPM道路俯视图实施车道线检测算法，实验结果表明，该方法可有效去除干扰线段，实时性良好，检测结果稳定、可靠。是一种可在实际中推广、运用的方法。

参考文献：

[1]Pedro S, Ricardo M, Luís C, José B. Neural-swarm visual saliency for path following[J]. Applied Soft Computing, 2013,13(6): 3021–3032

[2]Pedro S, Luís C, Ricardo M, Nelson A, José B. Tracking natural trails with swarm-based visual saliency[J], Journal of Field Robotics, 2013,30( 1):64-86

[3]Mohan S, Peter S. Structure-based color learning on a mobile robot under changing illumination[J], Autonomous Robots, 2007, 23(3):161-182

[4]Mohan S, Peter S. Color learning and illumination invariance on mobile robots: A survey[J]. Robotics and Autonomous Systems, 2009, 57(6-7): 629–644

[5]Michael J, Procopio, Jane M. Greg G, Learning terrain segmentation with classifier ensembles for autonomous robot navigation in unstructured environments[J], Journal of Field Robotics, 2009,26(2):145-175

[6]Baraniuk, R.G..Compressive Sensing[J]. Signal Processing Magazine, IEEE, 2007, 24(4): 118 - 121

[7]Candes, E.J., Ecole P., Wakin, M.B.. An Introduction To Compressive Sampling[J]. Signal Processing Magazine, IEEE, 2008, 25(2): 21 – 30

[8]A. Dipanda, S. Woo, F. Marzani, J.M. Bilbault. 3-D shape reconstruction in an active stereo vision system using genetic algorithms[J]. Pattern Recognition, 2003,36(9): 2143–2159

[9]Eun Y K, Keechul J. Genetic algorithms for video segmentation[J]. Pattern Recognition, 2005,38(1): 59–73

[10]Li Z H, Zhang M, Liu H B. A fast algorithm of image segmentation based on Markov random field[C]// Proceedings of International Conference on Wavelet Active Media Technology and Information 2012, Chengdu, Sichuan ,China: IEEE Computer Society Press, 2012: 117-120

[11]A Voisin, VA Krylov, G Moser, SB Serpico, J Zerubia. Classification of Very High Resolution SAR Images of Urban Areas Using Copulas and Texture in a Hierarchical Markov Random Field Model [J]. Geoscience and Remote Sensing Letters, IEEE, 2013,10(1) :96 - 100

[12]W Wu, Z Liu, D Krys. Improving laser image resolution for pitting corrosion measurement using Markov random field method[J], Automation in Construction,2012,21:172-183

【作者简介】：杜明芳 工学博士/副教授/副研究员。控制科学与工程专业（人工智能方向，无人车课题）博士毕业，工学博士学历/学位。中国自动化学会专家委员。