把地图中的道路以线条提取出来_自动驾驶中基于车道线的高清制图方法回顾

3858b676945dd9e44e4c24fed8c448bb.png

HD Map,高清地图,在自动驾驶领域被看得很重,因为它能提供prior知识,让感知难度降低,同时规划有的放矢吧。

高清地图目前有两条路,即激光雷达扫描为主的高成本制图方法和摄像头为主的低成本制图方法。高成本方式已经是大公司普遍采用的路子,比如HERE,TomTom,谷歌,苹果,百度,高德,四维图新和日本ZENRIN等等,一些创业公司也循这样的路线,如DeepMap,Civil Maps和Carmera等。

激光雷达制图的基本路线,可以日本ZENRIN的PPT为例,如图所示:

94b52f65614eba0ab142979dd8b22856.png

而低成本的方法也有不少公司采用,如美国Intel Mobileye,Mapbox,Tesla,Lvl5,Mapper,Ushr,德国Atlatec,国内的极奥,MOMENTA,宽凳科技,DeepMotion和Wayz.ai等等。一般低成本方法会采用众包的方法获取数据,而且更新成本低。

以Mobileye的REM为例,也称路书(roadbook),标注的是通过视觉提取的landmarks,如下图,包括车道线,道路边界,交通标志,路上标记等等:

51025a72db9823069cbd36ac979a9509.png

本文介绍一些公开发表的论文,借此讨论一下如何构建以车道线的自动驾驶地图。

注:以车道线为基础的SLAM放在“定位”里面介绍吧。


在开始引入之前,先提一下两个地图格式:

OpenDrive

一种逻辑描述道路网的开源格式,主要在仿真器领域使用。其中OpenCRG是路面特性描述格式。

f62c00cbfc1204e615c268d3a9d9899a.png

OpenDRIVE Manager (OdrManager) 管理如何读取数据。

71d5911c7ada07b815ec0695d5dc4896.png

NDS:Navigation Data Standard

汽车业导航数据库标准化的格式。下图是NDS的HD Map层:

211857750ddf9534aa3594dc9b5822c7.png

二者之间的转换如下图:

ba47a538c292ac1fb2e1d86566c9c312.png

Creating Enhanced Maps for Lane-Level Vehicle Navigation

Enhanced maps (Emaps) 定义车道线的拓扑结构,能辅助车辆的车道线级别的定位;在法国,德国和瑞典已经使用。

一般车辆定位分三个级别:

  • Macroscale: 10米精度,GPS和道路数据库匹配;
  • Microscale: 亚米精度,地图不带有绝对坐标;
  • Mesoscale: 车道级精度,带绝对坐标的地图;, multiple lane crossroads, turn pockets, off ramps, map with abs. coord.;

下图是同一地区的比较:(a) 谷歌地图. (b) 标准地图. (c) 线段,节点和形状点的表示. (d) Emap。

966040915e9b9c68048d6533a13f4222.png

Emap 提供线段的拓扑信息:

  • 左/右/前方邻居线段特性;
    在每个道路的车道线段相对侧向位置;
  • 确定线段连接性;
    短时间建立复杂连接图的能力。

Lanelets: Efficient Map Representation for Autonomous Driving

注:德国高清地图公司Atlatec采用Lanelets编辑地图结果。

Lanelets记录自动驾驶环境的几何和拓扑特性,是一个核,指那些相互连接的驾驶区域道路线段,主要用于行为层(behavior layer)。

如图所示:Lanelets是有左右边界的折线,以一定精度近似车道几何,确定驾驶方向。

0371df735e7f04d022243886a8eb5bd5.png

基于连接的Lanelets,路径规划可以执行。下图展示一个Lanelet在汇聚和交叉的状况 (ID: 6451) 。

ba0140e4bc9932eac5a4b207d2fa0046.png

下图展示的是JOSM,即Java OSM (OpenStreetMap) ,在这个编辑器上重叠的Lanelets。

8eccffd661b478143226dee4ee56ed81.png

A Smart Map Representation for Autonomous Vehicle Navigation

提出的地图包括三个元素:道路,车道,和车道线。不过,它是基于激光雷达的高清地图,采用ArcGIS制成的。这个地图提供道路级和车道级的规划能力,辅助智能车通过交叉路口的驾驶。

注:ESRI (Environmental Systems Research Institute)是一个国际的,GIS(Geographic information system)软件的提供商,ArcGIS是商用位置服务的软件工具。

0c04b0799deafacecd8da056c652f5bf.png

这种地图描述车道网和道路网的拓扑结构,同时给出车道线的几何描述,如上图。车道线级的规划通过路口的例子见下图:[3,59,55,36,30,35]

0a97930f1cfea550fa8f4f2943f785f5.png

算法如下:

77461d4f1f18872edaad4b81bc2088e7.png

High Precision lane-level road map building for vehicle navigation

道路地图的要求是:

  • 每个道路分成道路段序列;
  • 每个道路段,车道数目不变;
  • 每个路段相邻的车道在同一方向是隐含连接的;
  • 不同的道路其车道是可以不连接而相交的;
  • 每个路段的车道可定义为解析曲线;
  • 车道曲线图的精度期望是分米级别。

这里采用Cubic Hermite Spline (CHS)描述车道线。基于CHS的分割方法是:道路相交提供一个长路的初始化分解;在两个节点之间假设 (n − 1) 顶点和n 基函数;然后估计顶点位置和切向方向。

看看下面的道路地图例子:(A)“• ”符号相连的道路例子,(B) 道路网的一部分,包括各个路的车道线,红色“⚬”代表节点之间的顶点。

0556f474a177ee007055bfc2d97673f6.png

Road Lane Semantic Segmentation for High Definition Map

这里提出一个基于车道语义分割的高清地图自动构成方法:采用单镜头,通过FCN检测车道线,然后提取车道特征,用来检测闭环。最后基于图的SLAM生成地图,流程如下图。

1a3e3db421dae64540b9c960a3477a20.png

关于特征提取见下图:主要是每个道路线段的key point。

e1893ed78cbc97321ee5533ec4451ca1.png

关于闭环的检测参见下图:一般停止线比较适合做定位的landmark,并估计车辆的姿态。

01c2d75ec836eee87152d3ebc9a146f5.png

下图是一个多种颜色表示的语义分割结果:(a) 输入,(b)ground truth,FCN(c),SegNet(d), PSPNet(e) 和 颜色意义(f).

bf287b438ab6247ac08aa9d6d30688e1.png

下图是高清地图的例子:依次是最终地图,以及蓝色和红色部分的细节放大。

71fea7d6e1e3c52dbf2c5326885b9c7c.png

6f0f022364a13aa5196c3f213540033b.png

09b3d3373f5df5b802f0d54645dafecd.png

Map Management for Efficient Long-Term Visual Localization in Outdoor Environments

如图给出的系统示意图:多个车辆定位通过一个移动通信的共享远程地图,“Appearance-based landmark selection”可以从地图检索路标。一旦车辆完成一次驾驶,搜集的数据上传到后端,并入地图更新。随后,后端的“map summarization”保证地图规模,也保证存储容量限制条件。

2fa2722787f39a33f034157d01bc8cb8.png

下图是地图更新的流程图:首先新数据需要在地图定位。一旦定位精度过低,就从数据中建立新的路标加入地图中,然后进入 summarization 降低地图中的路标数目到固定的数目。其他情况下,在定位中所有路标的观测统计会被更新,但不会添加新的路标。

86ace3eccc9009c5a216d43859834b76.png

Design of a Multi-layer Lane-Level Map for Vehicle Route Planning

建立了一个车辆路径规划的三层车道级别的地图,即road-level layer, intermediate layer lane-level layer。其中lane-level layer的几何由Cubic Hermite Spline 描述,用一组control points 产生车道的几何关系。下图是三层车道级别的地图模型:

c9f60b1a61e69ce019fabcc97d7a6677.png

road-level layer 包括道路和交叉路口,可以支持成熟的路径规划算法。intermediate layer 是上下层的桥梁,存储的车道集合之间的相关性可用于路径规划。lane layer 提供了车道级别的细节, 除了车道和交叉路口,还有一些车道线和车道中心线的高清点。

下图是intermediate layer中道路级和车道级的路口信息描述:其中进出路口几个道路之间的拓扑连接描述为traffic matrix形式。

bd857a906ac1cc0e7d5166ea6a3ff464.png

Generation of a Precise and Efficient Lane-Level Road Map for Intelligent Vehicle Systems

系统框图如下:包括三部分,数据获取,数据处理和道路建模。

af7343a839b94a79caf9bcdc372fa451.png

下图是车道线点的提取和聚类:提取区域是车辆的姿态决定的,每个区域提取的点就是marking point。这些被用于道路建模。

57fd83fd67c6ea262881224108a51107.png

下图是局部地图数据和图像平面之间的转换,其中二者的匹配良好。

6954d01b57ed387afee8dfb01640592b.png

注:这篇文章特别,直接从航拍图像建地图。

Automated Map Generation from Aerial Images for Precise Vehicle Localization

航空图像产生路标地图需要图像分类和路标结合描述的工作。本文提出了一个基于规则的从路标估计车道边界的算法。

下图是路标检测分类:(a) 原始图像 (b) 9x9 HSV 特征向量做比较(c) 提出一种旋转不变性特征向量。

1fe28656816ede6b5fce01002a0294c3.png

而这个是车道边界的检测:(a) 原始路标. (b) 计算的车道边界 (c) 滤除非车道边界的剩余路标。

71bba4a405aa6e89ee02d2c15b172eca.png

注:这里用2-D激光雷达(单线),成本低于一般高清地图所用的多线雷达。

Lane Map building and Localization for Automated Driving Using 2D Laser RangrFinder

路标识别是建立车道地图的前提。

c0dd53688dddc8447c4b56b3400a3f40.png

ba33e3668182e8e45ad8228015e7d0a7.png

436bd5a0c3b10314c3da65d5d66a92bb.png

fe235dcd11e4c262e1c5ed1149b2bc79.png

上图是一个车道线识别的例子:激光雷面向地面,180° 平扫,最大距离80米,测距5厘米误差;算法要求先做路面估计(折线表示法),车道线通过反射值提取,差分GPS和IMU做数据校准,将车身位置变换到UTM决定坐标系上。

车道地图建图就是找到车道。下图是提取车道的例子:首先是道路中线分割出来,采用一种简化的折线段表示,基于Douglas-Peucker算法沿不同方向将中线段分成多个部分,并得到形状点集。最后车道通过Radon transform得到。

15c39635769c339e4f321ded6e3c96af.png

其中道路中线分割的例子见下图:

f4f6d635a0d98c0d86dba2b6c4ae48ba.png

定位重要的是车辆姿态估计,文中采用GPS和激光雷达数据-车道地图的ICP匹配算法实现。车辆姿态数据进入一个卡尔曼滤波器,做递推。下图是车道地图的定位流程图:

edba044dd9197042041528d65a35f614.png

下图给出一个定位的例子:

a1832a4f25d1fbb200c1eab6c924268d.png

"LineNet: a Zoomable CNN for Crowdsourced High Definition Maps Modeling in Urban Environments".
这篇文章主要是车道线检测,在实验中提到一些HD Maps的制作过程:开源工具

mapillary/OpenSfM​github.com
8d670e36f7dc96c9dc85ed634385e3e9.png

加自己的车道线检测方法LineNet,还有一些后处理。

看看一些结果如下:

5d697c21b00e47ae2c3ebe9782dc3008.png

28bdb54cc836f945b6f2ae309f9dc8ab.png

53a57c1c199174b293389f5aef9e93d5.png

-----------结束------------

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值