ORB-SLAM2（论文阅读）

        该系统的后端使用基于单目和双目观测的光束法平差法（bundle adjustment），这使得其可以精确估计轨迹的尺度。该系统包含一个轻量级的定位模式，它使用视觉里程计追踪未建图区域并匹配地图点，实现零漂移定位。

        位置识别是SLAM系统中实现回环检测（当检测到传感器回到已建图区域时，修正探索过程中的累积误差）的关键模块，它能够在因遮挡或剧烈运动导致追踪失败后以及系统重新初始化时，重定位相机的位置。

        RGB-D结果显示，相比较目前最好的基于迭代最近点法（ICP）或广度和深度误差最小法，通过使用光束法平差法（BA），可以达到更高的精度。

VSLAM基础（七）————光束平差法Bundle Adjustment_potxxx的博客-CSDN博客_光束平差法

【三维重建】光束法平差原理介绍（一）_wsxzhbzl的博客-CSDN博客_光束法平差

        在局部关键帧集合中采用了BA，因此该方法的复杂度不受地图尺寸影响

        当闭合一个回环时，我们的系统会首先将两端对齐，因此追踪模块可以使用旧地图继续定位，之后采用位姿图优化来最小化回环中的累积漂移，再之后进行全局BA。

        该方法的后端基于BA，并且能够得到一个全局一致的稀疏重建。目标是实现长期并且全局一致的定位，而不是进行具有更多细节的稠密重建。该方法也可以通过精度很高的关键帧位姿，进行深度图融合来实时地对局部环境进行准确重建，或者在全局BA后对所有关键帧的深度图进行处理从而得到整个场景的精准三维模型。

ORB-SLAM2由三个主要的并行线程组成：追踪、局部建图和回环检测。在回环检测后会执行第四个线程，进行全局BA。追踪线程会对双目和RGB-D输入进行预处理，从而使得系统其它部分可以独立于输入传感器运行。该系统具有三个主要的并行线程：1）追踪线程是用来在每一帧中定位相机的位置，通过匹配特征和局部地图并且进行运动BA（motion-only BA）最小化重投影误差；2）局部建图线程是用来管理和优化局部地图；3）回环检测线程是用来检测大回环，并通过执行位姿图优化来修正累积误差。该线程在位姿图优化后会启动第四个线程来执行全局BA，计算最优的结构和运动结果。

【SLAM】位姿图优化的入门与实践_heroybc的博客-CSDN博客_位姿图优化

科普SLAM之位姿图优化建图_麦田拾忆的博客-CSDN博客_pgo算法

 最小生成树详解(模板 + 例题)_倒究怎啦的博客-CSDN博客_最小生成树例题详解

        该系统维护了一个关联可见地图（convisible map），此地图将每两个观察到相同地图点的关键帧连接到一起；

        该系统也维护了一个最小生成树，它连接了所有的关键帧。这种地图结构实现了对于关键帧局部窗的检索，因此追踪线程和局部建图线程可以局部地运行，使其可以在大场景中工作；

        该结构在回环闭合进行位姿图优化时，也可作为优化的图结构。

        系统在追踪、建图和位置识别任务中，都使用相同的ORB特征。

        作为一种基于特征的方法，ORB-SLAM2会对输入进行预处理，在显著关键点位置提取特征。接下来，输入的图片会被丢弃，系统的全部运算会基于这些特征。

SFM（Structure from Motion）一点总结_Z5122的博客-CSDN博客_sfm技术

SfM（Structure from motion，运动恢复结构，从motion中实现3D重建。也就是从时间系列的2D图像中推算3D信息_人工智能曾小健的博客-CSDN博客_sfm运动恢复结构

 [论文阅读]Structure-from-Motion Revisited_感天动地大白狗的博客-CSDN博客

        系统在追踪线程中使用BA来优化相机位姿（纯运动BA），在局部建图线程中优化关键帧和点的局部窗（局部BA），在回环检测后优化所有的关键帧和点（全局BA）。使用g2o 中的实现的Levenberg-Marquardt方法来进行优化。

纯运动BA（motion-only BA）优化相机的旋转矩阵和位置 t，最小化相匹配的世界坐标系下的三维点 Xi∈R3 和关键点 xi(⋅) 之间的重投影误差

一文读懂重投影误差_少杰很帅的博客-CSDN博客_重投影误差

 SLAM十四讲与VINS重投影误差计算的对比_尘归尘-北尘的博客-CSDN博客

 Bundle Adjustment---即最小化重投影误差（高翔slam---第七讲） - Jessica&jie - 博客园

 SIFT特征提取分析_Rachel-Zhang的博客-CSDN博客_sift特征提取

SIFT与SURF算法_虾米龟儿的博客-CSDN博客_sift算法和surf算法

        回环检测分两步进行：第一步是检测和确认回环，第二步是通过优化位姿图来修正回环。相较于单目ORB-SLAM可能会发生尺度漂移，双目/深度信息会使尺度变得可以观测，所以几何验证和位姿图优化不再需要处理尺度漂移。

        在ORB-SLAM2中，在位姿图优化后，采用全局BA优化来得到最优解。

        在优化运行的同时发现了新的回环，就停止优化，转而去闭合回环，这将再次启动全局BA优化。当全局BA完成时，将全局BA优化更新后的关键帧和点的集合，与在优化过程中插入的未更新的关键帧和点，进行融合。这通过将更新的关键帧的修正（未优化位姿至优化位姿的变换）沿生成树传递至未更新的关键帧来完成。未更新的点依据它们的参考帧的修正来进行变换。

        ORB-SLAM2沿用了单目ORB-SLAM中介绍的策略：频繁插入关键帧，之后再剔除冗余的关键帧。当追踪的近处点数目低于τt并且此帧能够创建至少τc个新的近处立体点时，系统就会插将此帧作为一个新的关键帧插入。