orb特征 稠密特征_ORB-SLAM-1

1. 摘要
2. 引言
3. 相关工作

引言

1.BA，能够提供精确的相机定位以及稀疏几何重建。具有强大的匹配网络和好的初始化估计。很长时间该方法被认为用于实时，如视觉slam。视觉slam的目标是估计相机轨迹并重建环境。在不耗费很大的计算代价的情况下，用BA实现的实时slam算法如下

(1)场景特征和地图点的对应观察中选出来的帧的子集作为关键帧。

(2)随着关键帧数量增加，复杂度增加，需要避免冗余的关键帧。

3，一个强的关键帧和地图点配置可以产生精确的结果。传播的关键帧几何，需要具有足够的视差和足够的回环匹配。

4关键帧位姿和地图点的初始化估计采用非线性优化。

5局部地图搜索用于优化尺度。

6快速全局优化的能力，如pose-graph，实现实时的回环。

第一个用BA实现的实时视觉里程计工作尝试由Mouragon尝试，接下来Klein实现了PTAM。适合小场景，提供简单但高效的方法用于关键帧选择，特征匹配，地图点的三角化和每一帧的相机定位，以及跟踪失败的重定位。一些因素限制了它的使用场景：缺少回环和足够的遮挡处理，对不同视角重定位的不变性，以及需要人工参与加速地图。

本文基于PTAM的主思想，以及位置识别，和具有尺度的回环检测，以及采用大尺度的共识信息用于大的尺度操作。

本文的贡献：

1.所有任务采用相同特征，即跟踪，建图，重定位和回环，使得本文的系统更高效，简洁和可靠。本文采用ORB特征在不使用GPU的情况下达到实时，对不同视角和光照的变化具有很好的不变性。

2.对大场景实现实时，主要是使用了共视graph，跟踪和地图聚焦在局部共视区域，跟全局地图大小无关。

3.基于pose-graph优化的实时回环检测，即Essential Graph。从伸展树构建，并由系统、回环关联和covisibility graph的强边缘维持。

4.实时相机重定位对视角和光照有很强的不变性，这使得跟踪失败后可以恢复，并加强地图的重用。

5自动化鲁棒的初始化过程，根据平面和非平面场景选择模样。

6地图和关键帧的选择，在sprawning过程中非常普遍，但在缩减时非常严格。这样的策略能提供高跟踪的鲁棒性，并加长持续周期，因为冗余关键帧被忽略了。

本文在流行的数据集上做了广泛的测试，包括室内室外场景和手持、驾驶以及机器采集序列。本文获得了最佳的相机定位精度，与直接法在像素灰度上优化比，本文采用特征重投影误差进行优化。后面将会讨论为什么特征点法比直接法更为精确。

回环和重定位方法基于本文之前的工作，本文新增了初始化方法，Essential Graph。目前这是 最全和可靠的单目slam。

相关工作

A位置识别

采用FAST角点检测，BRIEF描述子获得二值词袋，相比用SURF或者SIFT特征的词袋，减少了一个量级的耗时。BRIEF具有高效性和鲁棒性，但不具有尺度和旋转不变性。限制了系统在平面轨迹和相似视角的回环检测。本文之前的工作提出了基于ORB的DBoW2。ORB是具有旋转和尺度不变性的二值特征，可以快速识别，并对视角具有很好的不变性。召回率高，在四个不同的数据集上鲁棒。包含特征提取在内，耗时不超过39ms，在10k图像数据集中检索候选回环，本文采用共视信息，并在查询字典时，除了返回最好的匹配，还提供一些超参数，提升了位置识别器。

B地图初始化

单目需要一个步骤来创建初始化地图，因为深度没法通过单目相机恢复。一个解决方法是初始化可以跟踪一个已知的结构实现。在滤波方法中，点可以通过深度的不确定性的逆深度参数初始化。之后有望收敛到他们真实的位置。最近Engel等人的半稠密工作，紧接着类似的方法初始化像素深度为一个具有高方差的随机值。

初始化从两方面讲，要么局部平面假设，从h矩阵恢复相对相机位姿，或计算本质矩阵，对平面或者普通场景建模，采用五点法。需要处理多个解。两种重建方法在时差小的情况下约束不够，会产生二义性的解，如果所有平面场景中的点离其中一个相机的光心很近。另一方面，如果非平面场景有一个视差惟一的基础矩阵，可以用8点法，唯一地恢复出相机位姿。

在第四部分，提出了新的自动选择模型的方法。在平面场景的homography以及非平面场景的基础矩阵间选择，选择基于Torr提出的统计方法。基于相同的原理，本文开发了一个heuristic的初始化方法，将基础矩阵在近的退化场景，如平面，近似平面，低视差的情况，支持homography的选择。在平面场景中，为安全操作，如果解具有二义性，可以从初始化中refrain，作为失败的解来选择。延迟初始化至具有足够视差时的唯一解。

C 单目slam

单目slam最初用滤波的方法求解。在那样的方法中，每一帧都被滤波器处理，来联合估计地图特征的位置和相机位姿。它的缺点是会将计算浪费在具有很少新信息和累积线性误差的连续帧上。另一方面，基于关键帧的方法，仅用选择的帧，即关键帧来进行更为耗时，但更精确的BA优化，因为地图并不与帧率紧密联系。Strasdat等人证明，基于关键帧的技术在相同的计算代价下，比基于滤波的方法更精确。

最具代表性的基于关键帧的slam是PTAM，它第一个引入分离相机跟踪和建图线程思想，并证明可以在小场景中实现实时增强现实。原始版本随后在跟踪时通过改善特征边缘，增加了旋转估计步骤，并给出了新的重定位方法。地图点对应的FAST特征通过块相关进行匹配。这使得地图点仅能用于跟踪，不能用于位置识别。实际上PTAM并不能检测大的回环，重定位基于低分辨率的关键帧的拇指甲，对视角的不变性差。Strasdat展示了一个大尺度的slam，前端在GPU上用光流实现，紧接着用FAST特征匹配和仅包含运动的BA，以及基于滑动窗的BA。回环通过因子图优化求解，约束包含7个自由度，可以矫正单目中的尺度漂移。本文采用了这样的思想，并用于第三大部分的第四小部分中的Essential Graph。

Stradat采用了PTAM的前端，但跟踪仅在局部的共视graph搜索。他们提出了双窗口优化的后端，并在内窗中持续进行BA，以及在一个有限尺寸的窗口中进行pose graph。然而，回环检测仅在外窗足够大，包含到了整个环的情况下有效。本文借鉴了基于共视的局部地图，并从covisibilit