最近一篇关于深度学习在地图-定位应用的综述

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

整理：公众号@智车科技

本文仅做学术分享，如有侵权，请联系删除。

这是一个arXiv上2020年6月底上传的综述“A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intelligence“，作者来自英国牛津大学，文章覆盖了odometry、mapping和SLAM等。

这是一个arXiv上2020年6月底上传的综述“A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intelligence“，作者来自英国牛津大学，文章覆盖了odometry、mapping和SLAM等。

如图给出了传统方法和学习方法的比较：X是传感器数据，Y是目标（运动、姿态和几何+语义等）。

关于深度学习在这个领域的应用，作者给出了如下的分类：

而这里给出综述的全貌，也是以上模块在所构成系统的相互关系图：

这是odometry的方法列表：分视觉、视觉-惯导和激光雷达三个类。

下面这张图告诉我们：非监督方法还是比监督方法误差大，深度学习和传统方法的混合精度不错。

这是mapping的方法列表：区别很大的在于地图表示，几何、语义以及同时包括几何和表观的表示。

定位模式分多种：2D-to-2D localization；2D-to-3D localization；3D-to-3D localization。

先看2D-2D定位：这里2D地图可以是显式地或者隐式（NN模型），如图所示。

如下表是对应的方法列表。

再说2D-3D定位方法：如图是一个示意图，特征描述匹配的基础上做PnP得到pose，而NN模型直接回归得到定位。

对应的方法列表如下。

最后一个3D-3D定位：主要是激光雷达点云数据而言。其示意图如下：CNN+RNN回归pose

方法列表如下。

SLAM技术，文章分成模块来讨论，即Local optimization，Global optimization ，Keyframe detection，Loop-closure detection 和 Uncertainty Estimation等。

列出方法如下表：

最后给出的Open problems：

1.  End-to-end model vs. hybrid model：前者对数据要求太大，后者可以考虑一些priori知识。

2. Unifying evaluation benchmark and metric：目前只有Kitti比较公认的benchmark，感觉还是太不足了。

3. Real-world deployment：实时性要求，自监督和在线学习的能力。

4.  Lifelong learning：可规模化和扩展性问题。

5. New sensors：一些没有重视的传感器，比如event camera, thermo camera, mmwave device, radio signals, magnetic sensor等等。

6. Scalability：更大的环境，比如郊区、室外等等。

7. Safety, reliability and interpretability：目前DL应用都关心的问题，AI的不确定性、自动驾驶的安全性以及NN模型的可解释性。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉优质源码，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

整理不易，请给工坊点赞和在看！