ORB-SLAM3整体结构梳理

作者丨成长中的菜鸟@知乎

来源丨https://zhuanlan.zhihu.com/p/402301643

编辑丨3D视觉工坊

1、整体框架

1.1 Tracking 模块

处理传感器信息并实时计算当前帧在激活地图中的姿态。同时该模块也决定了是否将当前帧作为关键帧。在视觉-惯性模式下，通过在优化中加入惯性残差来估计刚体速度和 IMU 偏差。当追踪丢失时，tracking 线程会尝试在 Atlas 地 图中重定位当前帧。若重定位成功，恢复追踪，并在需要的时候切换激活地图。若一段时间后仍未激活成功，该激活地图会被存储为未激活地图，并重新初始化一个新的激活地图。

1.2 Local mapping 模块

加入关键帧和地图点到当前激活地图，删除冗余帧，并通过对当前帧的附近关键帧操作，利用视觉 BA 或视觉-惯性 BA 技术来优化地图。此外，在惯性模式下，mapping 线程会利用最大后验估计(MAP)技术来初始化和优化 IMU 参数。

1.3 Loop and map merging 模块

每当加入一个新的关键帧，该线程在激活地图和整个 Atlas 地图中检测公共区域。如果该公共区域属于激活地图，它就会执行回环校正；如果该公共区域属 于其他地图，就会把它们融合为一个地图，并把这个融合地图作为新的激活地图。在回环校正以后，一个独立线程就会进行全局 BA，进一步优化地图，同时并不影 响实时性能。

1.4 Atlas 模块

一个由一系列离散地图组成的多子图系统。它会维护一个激活地图，用于tracking 线程对当前帧的定位，同时 local mapping 线程会利用新的关键帧信 息持续对该地图优化和更新。在 Atlas 中的其它地图被称为未激活地图。该系统基于词袋模型对关键帧信息建立数据库，用于重定位、闭环检测和地图融合。

2、IMU 和 Camera 数据融合获取位姿数据的过程

IMU 虽然可以测得角速度和加速度，但这些量都存在明显的漂移，使得积分 两次得到的位姿数据非常不可靠。但是，短时间内的快速运动，IMU 能够提供一 些较好的估计，这正是相机的弱点。当运动过快时，相机会出现运动模糊，或者 两帧之间重叠区域太少以至于无法进行特征匹配，所以纯视觉 SLAM 非常害怕快 速的运动。而有了 IMU，即使在相机数据无效的那段时间内，我们也能保持一个较好的位姿估计，这是纯视觉 SLAM 无法做到的。相比于 IMU，相机数据基本不 会有漂移，所以相机数据可以有效的估计并修正 IMU 读数中的漂移，使得在慢速运动后的位姿估计依然有效。当图像发生变化时，本质上我们没法知道是相机自 身发生了运动，还是外界条件发生了变化，所以纯视觉 SLAM 难以处理动态的障 碍物。而 IMU 能够感受到自己的运动信息，从某种程度上减轻动态物体的影响。主要流程如下：
(1) 利用相机和 IMU 分别进行图像采集和惯性数据采集，且 IMU 的采集频率大于 相机的采集频率；

(2) 提取相机获取的每一帧图像的特征点，然后提取特征点的描述子（ORB-SLAM 采用），匹配特征点；此处，还可以采用光流追踪的方法；

(3) 对 IMU 得到的多组 IMU 数据进行预积分，计算出两帧图像对应的 IMU 位置和 速度；

(4) IMU 初始化（讲解 ORB-SLAM3 采用的方法）,这一步的目的是获取 IMU 参数较好的初始值：速度、重力以及 Bias。

1> Vision-Only
采用 ORB-SLAM 经典框架纯视觉初始化流程，按照关键帧速率 4Hz 持续运行2s，然后我们可以得到按比例缩放的地图，包括 10 个关键帧以及上百个地图点，然后通过 Visual-Only BA 进行优化。

2> Inertial-Only
这一步目的是获得 IMU 参数最优估计。利用前述单目视觉 SLAM 初始化后稳 定运行的数据，以及这些关键帧之间的 IMU 测量，包括：尺度因子、重力方 向、IMU 传感器偏置参数、关键帧的无尺度速度。这些 IMU 测量放在一起构 成状态向量，构建优化问题求解。一旦惯性优化完成，帧的姿态、速度以及 3D 地图点就会以估计的尺度进行缩放，同时旋转以使 z 轴与估计的重力方向对齐。
3> Visual-Inertial

一旦视觉以及 IMU 有了较好的估计后，进行一个联合优化进一步对这些参数进行精化。

(5) 结合上面得到的惯性残差和视觉残差，视觉-惯性 SLAM 可以看作是基于关键帧的最小化问题。在后期中，基于下式进行计算优化。

在 tracking 过程中，只优化最后两帧的位姿，同时保持地图点固定。在mapping 过程中，为了解决全图优化问题，若图的规模比较大就会比较棘手。ORB-SLAM3 采用了滑动窗口思想，把关键帧及其地图点的滑动窗口作为优化变量。

3、ORB-SLAM3 的基于特征点的 tracking 模块的优缺点，改善的机会点或方向

首先，ORB-SLAM3 视觉前端做法采用特征点提取+描述子匹配特征点的方式。因为有描述子，所以对地图的维护很方便（包括重定位、闭环、全局优化）。尤其是对室内环境，当视觉上共视关系较多的时候，这种方法能很大程度上提高定 位精度和局部稳定性。但这种方式也有缺点，每帧图像都要提取特征点数量的描述子，比较浪费时间。在 tarcking 过程中，如果运动过快（图像出现模糊），比较容易 tracking loss。此外，纯视觉 ORB-SLAM3 严重依赖特征点的提取与匹配 效果，在如纹理缺失的环境下运行会无法得到足够多的稳定匹配点对，此时光束平差法缺乏足够多的输入信息，无法有效地修正位姿偏差。基于这点，有很多人 也有不同的方法，还有一个主流方法是，特征点提取+光流跟踪的方式。采用这种方式tracking 要鲁棒一些，但这种方式不容易构建全局 map，同时在闭环和重定位阶段也需要另外提取特征点和描述子。同时，visual-inertial ORB- SLAM3 通过引入 IMU 来约束和修正特征缺失带来的偏差，得到尺度信息，在一定程度上解决了过度依赖严重依赖特征点问题。

ORB-SLAM3 引入了 Atlas 系统，在 tracking 过程中，如果跟丢了，可以利用当前帧查询 Atlas DBoW 数据库。这个查询可以利用所有先验信息，在所有地图 中找相似的关键帧。一旦有了候选关键帧，地图和匹配的地图点就可以进行重定位，极大提升性能，增大鲁棒性。

个人认为，ORB-SLAM3 此次更新的一大变化就是引入了 Atlas 地图，相当于 开辟了一条新的方向。当前由于只是第一个版本，所以在这方面的改进空间还有 很大，可以在这个方向做一些研究。同时 IMU 相比于 camera，有很多互补优势， 如何让 IMU 和 camera 更好的结合，发挥更好的效果，也是可以研究改进的点。IMU 初始化也有很多不足，采用一个更好的方法进行 IMU 初始化，也是一个可以改进的点。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~