在室内停车场使用道路标记语义进行厘米级建图和定位

标题：Mapping and Localization using Semantic Road Marking withCentimeter-level Accuracy in Indoor Parking Lots

作者：Jiaxin Hu, Ming Yang, Hanqing Xu, Yuesheng He and Chunxiang Wang

来源：ITSC 2019

编译：吴珂

审核：wyc

转载：泡泡机器人SLAM

摘要

大家好，今天为大家带来的文章是—— 在室内停车场使用道路标记语义进行厘米级建图和定位

车辆在车库中进行视觉导航时的一个基本任务就是精确的定位。在本文中，我们提出了一种实用而新颖的解决方案，利用道路标志语义分割来解决长期的高精度视觉定位问题。基于道路标志分割的语义数据关联，我们设计了提升语义建图效果的点云融合和回环检测策略。在建好的语义地图上，我们使用结合了语义和集合信息的点云配准算法来提升定位精度。在真实的室内停车场内的实验数据证明我们提出的方法可以提高语义建图精度和一致性。而且在实时运行时定位精度可以小于10cm。

贡献

1. 基于道路标志的建图定位系统，可以达到较好的建图一致性，在定位时消除累计误差达到厘米级精度；

2. 将带语义信息的点云进行融合时所用的方法以及回环检测策略可以构建高度一致性的地图；

3.结合语义和几何两方面信息的基于ICP的定位方法可以得到较高的精度；

方法介绍

图1 整体框图

建图阶段

1. 生成点云：将鱼眼相机获得的原始图片进行语义分割，基于路面标志的语义特征为7类。四个鱼眼相机的图片通过IPM（Inverse Perspective Mapping ）组成鸟瞰的环视图。在组成环视图时考虑了四个相机之间的时间同步问题，使用了里程计对时间上的不同步导致的位姿变化进行了补偿。注意在IPM变换时会有一些区域畸变过于严重，这部分将舍去。此外，也会删去一些点来限制单帧点云中点的个数，以保证计算的复杂度。

2. 点云融合：多帧IPM中都观测到同一个点的话，该点的分类和权重信息就要进行一个融合。每一个空间点在某一帧中的分类和权重信息的观测要先通过近邻点语义的信息进行“插值加权”得到；融合多帧对同一个点的观测即可得到融合后的该点的分类和权重。

3. 回环检测：回环候选的分数由两部分组成，一部分是由词袋DBoW2计算（词袋的字典是通过ORB描述子来提取的），另一部分是语义关联分数，两部分分数加权求和的总分超过一定阈值的关键帧视为回环的候选；点云的匹配率超过一定阈值的区域作为最终回环。回环约束的当前局域地图与全局地图之间的相对位姿关系使用语义ICP来计算。

图2 运动补偿和点云融合的结果。由于四个摄像机的时间不同步，因此图像的拼接位置会发生错误。通过比较（a）和（b）中的黑框，可以看到使用运动估计的补偿结果。（c）中的红色圆圈是分类错误的点云，（d）中的白色圆圈是纠正错误分割的相应融合结果

定位阶段

1. 全局初始化：车辆第一次进入已建图的停车场时对其全局位姿进行初始化，采用回环检测中的方法选取全局地图中的候选帧，再通过粒子滤波进行筛选，最后通过点云匹配进行进一步验证，只有当点云匹配分数足够高时，才认为初始化得到完成。

基于语义ICP的定位：

仍是基于几何的残差，而 则可视为权重，该权重体现的是原点云和目标点云的语义信息的数据关联的条件概率：

基于语义的ICP的位姿估计与基于IMU和轮式编码器组成的里程计的位姿估计再通过EKF进行融合，作为定位的结果。

主要结果

建图结果

图3是有回环和无回环情况下建图的结果，可以看到有回环的情况下建图得到更好的一致性。图4更详细地展示了这种差别：在多次经过地区域中，有回环情况下所建地地图具有很好的一致性，而无回环的情况下则由于航迹推算的累计误差而出现明显的“不重合”的错误。

图4 本文中的闭环，姿态图优化和点云校正过程生成一致的映射（a到e）。但是，由于航位推测法中累积的误差，车辆路径漂移会导致地图一致性差（f到j）。N表示该地区的到访次数。

定位结果

图5：与NICP相比，提出的算法的误差称为精确点云配准算法。相对轨迹误差表示为颜色图。我们可以看到，所提出的语义ICP和与航位推算相融合的语义ICP表现出更好的性能。

表1 定位精度对比

点击阅读原文, 提取码：9nzq 即可获取本文下载链接。

备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~