章国锋：黑暗中的前行--复杂环境下的鲁棒SfM与SLAM | VALSE2017之十五

点击上方“深度学习大讲堂”可订阅哦！

编者按：无人系统在未知环境中的移动，恰如人在黑暗中前行，是一个不断通过传感器对周围世界进行摸索感知的过程。这种感知不仅会受到外部环境、气候条件、光照变化的影响，还会受到自身的运动模式、硬件条件等的限制。因而，如何在复杂环境下，仍能保证方位定位与三维重建的精度，已经成为学术界及工业界亟待解决的问题。在本文中，来自浙江大学的章国锋副教授将为大家讲述，如何在复杂环境下构建鲁棒的SfM（运动恢复结构）和SLAM（同时定位与地图构建）。文末，大讲堂特别提供文中提到所有文章的下载链接。

什么是SLAM?

SLAM英文全名Simultaneous Localization and Mapping，翻译为同时定位与地图构建，主要解决在未知环境中，如何进行自身方位的定位，并同时构建三维环境的地图。它是机器人和计算机视觉领域的一个基本问题，有非常广泛的应用，比如可以应用于增强现实、虚拟现实、机器人和无人驾驶等领域。基本上，需要定位和三维感知的应用都需要用到SLAM技术。

如上面的SLAM运行结果所示，设备根据传感器的信息可以：

1.计算自身位置（在空间中的位置和朝向）

2.构建环境地图（稀疏或者稠密的三维点云）

SLAM系统常用的框架

自2007年PTAM工作出来之后，现在的SLAM方法基本上都采用了并行跟踪和建图框架，一般包含以下几个部分：

• 输入：可以是RGB图像、深度图，甚至IMU测量值；

• 前台线程：根据传感器数据进行跟踪求解，实时恢复每个时刻的设备方位；

• 后台线程：对三维点云和关键帧的位姿进行局部或全局优化，减少误差累积；同时对场景进行回路检测并进行闭合；

• 输出：设备实时位姿和三维点云。

SfM & Visual SLAM

这里先讲一下Structure from Motion和Visual SLAM的区别。

SfM可以分为离线和实时的，而实时的SfM其实就是Visual SLAM。Visual SLAM主要采用摄像头传感器，根据摄像头的数目可以分为单目摄像头、双目摄像头和多目摄像头等。现在的Visual SLAM也在结合其它一些传感器，比如手机上的廉价IMU、GPS和一些深度摄像头来做到更加鲁棒的SLAM。

以视觉为主的SLAM技术的优势：

• 硬件成本低廉

• 小范围内定位精确度较高

• 无需预先布置场景

Visual SLAM 主要挑战

Visual SLAM已经有几十年的历史，虽然理论上趋向成熟，但在复杂环境下的落地还面临着诸多挑战，比如：

• 如何处理循环回路序列和多视频序列，如何闭合回路，消除误差累积；

• 如何高效高精度地处理大尺度场景；

• 如何处理动态场景；

• 如何处理快速运动和强旋转。

我们课题组的SfM & SLAM工作

围绕着以上这些问题，我们课题组最近几年做了一些相关工作，总结如下（基本每一个工作都有对应的系统）：

研发了一个大尺度运动恢复结构系统ENFT-SFM，能够高效地处理循环回路和多视频序列；在单目SLAM方面，主要做了三个方面的工作，其中ENFT-SLAM是在ENFT-SFM上的进一步改进和实时化，能在大尺度场景下实时运行，RDSLAM则主要针对动态场景做了优化，而RKSLAM专为基于移动终端的增强现实应用设计，速度非常快，可以在移动设备上实时运行。另外，针对RGB-D摄像头，我们最近也做了一个基于关键帧的同时定位与稠密地图构建系统RKD-SLAM。接下来将分五部分做详细介绍。

（一）ENFT-SFM

循环回路序列和多视频序列的运动恢复结构主要存在两个难题：

第一个难题：如何将不同子序列上的相同特征点高效地匹配起来，比如一朵花从视野中出去了，过了一会儿又重新进入视野，如何把这些公共的特征点高效地匹配起来；

第二个难题：对于大尺度场景，如何高效地进行全局优化，消除误差累积，解决重建漂移问题。