ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras论文阅读笔记

摘要

介绍了ORB-SLAM2，一个用于单目、双目和RGB-D相机的同时定位和映射（SLAM）系统，包括地图重用、环路闭合和重新定位功能。该系统可在各种环境中的标准中央处理器上实时工作，从小型手持式室内序列，到工业环境中的无人机和城市中行驶的汽车。系统的后端基于单目和双目观测的BA(bundle adjustment )，允许进行精确的轨迹估计。系统包括一个轻量级定位模式，利用视觉里程计跟踪未建图的区域，并与地图点匹配，允许零漂移定位。对29个流行的公共序列的评估表明，ORB-SLAM2方法达到了最先进的精度，在大多数情况下是最精确的SLAM解决方案。

在ORB-SLAM的基础上，做出以下贡献：
1)第一个面向单目、双目和RGB-D相机的开源SLAM系统，包括闭环、重新定位和地图重用；
2)RGB-D结果表明，通过使用BA，获得了比基于迭代最近点(ICP)或光度和深度误差最小化的方法更高的精度；
3)通过使用远近双目点和单目观察，双目结果比直接法双目SLAM更精确；
4)轻量级定位模式，可以在禁用建图的情况下有效地重用地图。

图1显示了以来自双目和RGB-D作为输入的，ORB-SLAM2输出的例子。双目情况显示了最终轨迹和来自KITTI数据集的序列00的稀疏重建。RGB-D例子显示了从TUM RGB-D数据集fr1_room按顺序估计的关键帧姿态，以及通过从估计的关键帧姿态反投影传感器深度图而呈现的密集点云。

ORB-SLAM2使用深度信息来合成图像上提取特征的立体坐标。系统不知道输入是双目的还是RGB-D的。后端基于BA，并构建全局一致的稀疏重建。因此，我们的方法是轻量级的，可以与标准的中央处理器一起工作。目标是长期和全局一致的定位，而不是构建最详细的密集重建。然而，从高度精确的关键帧姿态，人们可以融合深度图，并在局部区域中动态地获得精确的重建，或者在完整的BA之后对来自所有关键帧的深度图进行后处理，并获得整个场景的精确三维模型。

ORB-SLAM2系统概述

系统框架如图2a所示：

该系统有三个主要的并行线程:
1)跟踪，通过找到与局部地图的特征匹配并使用仅运动BA最小化重投影误差来定位每个帧的摄像机位置；
2)局部地图管理局部地图并对其进行优化，执行局部BA；
3)循环闭合以检测大循环并通过执行姿态图优化来校正累积的漂移。这个线程启动第四个线程，在位姿图优化后执行完整的BA，以计算最优结构和运动解。

该系统嵌入了基于DBoW2的位置识别模块，用于在跟踪失败(例如，遮挡)的情况下重新定位，或者用于在已经建立地图的场景中重新初始化，以及用于循环检测。系统维护一个covisibiliy graph，该图连接观察公共点的任意两个关键帧和连接所有关键帧的最小生成树。这些图形结构允许检索关键帧的局部窗口，以便跟踪和局部地图在本地运行，允许在大型环境中工作，并作为闭合循环时执行的姿势图优化的结构。

该系统使用相同的ORB特征进行跟踪、建图和位置识别任务。这些特征对于旋转和缩放是鲁棒的，并且对于相机自动增益和自动曝光以及照明变化呈现良好的不变性。此外，它们提取和匹配速度快，允许实时操作，并在单词包位置识别中表现出良好的精度/召回性能。

1.单目、近距离双目和远距离双目关键点
ORB-SLAM2作为一种基于特征的方法，对输入进行预处理，提取显著关键点位置的特征，如图2(b)所示。然后，输入图像被丢弃，所有系统操作都基于这些特征，因此系统独立于双目或RGB-D传感器。系统处理单目和双目关键点，这些关键点进一步分为近距离或远距离。

双目点的坐标定义为x_s = (u_L，v_L，u_R), (u_L，v_L)为左边图像的坐标，u_R为右边图像的水平坐标。对于双目相机，在两幅图像中提取ORB，对于每一个左ORB，在右图像中搜索匹配。假设双目校正图像使极线水平，这可以非常有效地实现。然后，用左ORB的坐标和右匹配的水平坐标生成双目关键点。对于RGB-D相机，提取RGB图像上的ORB特征，对于具有坐标(uL，vL)的每个特征，将其深度值d转换成虚拟右坐标。

f_x是水平焦距，b是结构光投影仪和红外摄像机之间的基线，深度传感器的不确定度用虚右坐标的不确定度表示。通过这种方式，系统的其他部分可以同等地处理来自双目和RGB-D输入的特征。

如果一个双目关键点的关联深度小于stereo/RGB-D基线的40倍，则将其分类为近，否则将其分类为远。由于准确估计了深度并提供了比例、平移和旋转信息，因此可以从一帧中安全地对近关键点进行三角测量。另一方面，远点提供准确的旋转信息，但较弱的比例和平移信息。当远点有多帧支持时，对其进行三角测量。

单目关键点由左侧图像上的两个坐标 x_m = (u_L , v_L ) 定义，并对应于所有那些在 RGB-D 情况下无法找到双目匹配或具有无效深度值的 ORB。这些点仅从多帧进行三角分解，不提供比例信息，但有助于旋转和平移估计

2.系统引导
使用双目或 RGB-D 相机的主要好处之一是，仅通过一帧可以获得深度信息，不需要像单目那样来自运动初始化的特定结构。在系统启动时，使用第一帧创建一个关键帧，将其位姿设置为原点，并从所有双目关键点创建一个初始地图。

3.具有单目和双目约束的BA优化
系统执行 BA 以优化跟踪线程中的相机位姿（仅运动 BA），优化局部建图线程中的关键帧和点（局部 BA），并在闭环后优化所有关键帧和点（全局BA），使用在 g2o中实现的 Levenberg-Marquardt 方法完成BA。

仅运动BA的相机旋转方向为R∈ SO(3)，平移t∈ SO(3),最小化匹配的 3-D 点Xⁱ ∈ R³与单目关键点 x m i