科普类——ORB-SLAM2与ORB-SLAM3的整体架构以及异同点（八）

ORB-SLAM2

ORB-SLAM2（Oriented FAST and Rotated BRIEF SLAM）是一个开源的、基于特征的SLAM（Simultaneous Localization and Mapping）系统，它由Raul Mur-Artal、Jorge D. Tardos和Jose M. M. Montiel在2017年提出。ORB-SLAM2在ORB-SLAM的基础上进行了改进，提高了系统的鲁棒性、精度和效率。以下是ORB-SLAM2的整体框架结构概述：

1. 系统初始化：

   • 在系统启动时，ORB-SLAM2首先进行初始化，包括估计相机的内参、外参，以及构建一个初始的地图。

2. 特征提取与匹配：

   • 使用ORB（Oriented FAST and Rotated BRIEF）特征点检测器提取图像中的关键点，并计算其描述符。
   • 在连续帧之间进行特征匹配，以估计相对运动。

3. 运动估计：

   • 使用基于特征点的匹配，ORB-SLAM2估计相机之间的相对运动。这包括使用PnP（Perspective-n-Point）算法进行粗略估计，然后通过RANSAC（Random Sample Consensus）进行优化。

4. 地图构建与更新：

   • 在估计出相机运动后，ORB-SLAM2将新帧的关键点与已有地图进行匹配，以更新地图。这包括添加新的地图点（关键点）和更新现有点的位置。
   • ORB-SLAM2支持两种地图表示：关键点地图（Keypoint Map）和词袋地图（Bag of Words Map）。关键点地图存储所有检测到的关键点，而词袋地图则使用局部词袋描述符来表示环境。

5. 回环检测与图优化：

   • ORB-SLAM2使用回环检测算法来识别和处理回环（即相机回到之前访问过的位置）。这有助于提高定位的准确性和地图的一致性。
   • 系统使用图优化技术（如g2o或Ceres Solver）来全局优化相机轨迹和地图点的位置，以最小化重投影误差。

6. 实时定位：

   • 在运动过程中，ORB-SLAM2实时跟踪相机的位置，并在地图上进行定位。这允许系统在未知环境中进行自我定位。

7. 可视化与输出：

   • ORB-SLAM2提供了一个可视化工具，可以实时显示相机轨迹、地图点以及回环。此外，系统还可以输出轨迹和地图数据，供后续分析和应用。

ORB-SLAM3

ORB-SLAM3 是一个基于特征点的实时视觉SLAM系统，由Raul Mur-Artal、Jorge D. Tardos和Jose M. M. Montiel等人在2020年提出。它是ORB-SLAM2的后续版本，旨在提供更高的精度、更好的实时性能和更广泛的应用场景支持。ORB-SLAM3的框架结构可以分为以下几个主要部分：

1. 系统初始化：

   • 在系统启动时，ORB-SLAM3首先进行相机内参和外参的估计，以及初始地图的构建。

2. 特征提取与匹配：

   • 使用ORB特征点检测器提取关键点，并计算其描述符。这些特征点用于后续的匹配和地图构建。

3. 运动估计：

   • ORB-SLAM3通过匹配连续帧之间的特征点来估计相机的相对运动。这包括使用PnP算法进行粗略估计，并通过优化算法（如g2o或Ceres Solver）进行精确估计。

4. 地图构建与维护：

   • 新帧的特征点与现有地图进行匹配，以添加新的地图点或更新现有点。ORB-SLAM3支持多种地图表示，包括关键点地图、词袋地图和直接地图（Direct Map）。

5. 回环检测与图优化：

   • 系统使用回环检测算法来识别和处理回环，以提高定位的准确性和地图的一致性。ORB-SLAM3引入了基于直接地图的回环检测，提高了回环检测的效率和准确性。

6. 实时定位与地图更新：

   • ORB-SLAM3实时跟踪相机的位置，并在地图上进行定位。系统会根据新的观测数据不断更新地图。

7. 多传感器融合：

   • ORB-SLAM3支持与IMU（惯性测量单元）数据融合，利用IMU的加速度和角速度信息来辅助运动估计和提高系统的鲁棒性。

8. 可视化与输出：

   • 提供可视化工具，用于实时显示相机轨迹、地图点、回环以及系统状态。此外，系统可以输出轨迹和地图数据，便于后续分析和应用。

9. 系统配置与优化：

   • ORB-SLAM3提供了丰富的配置选项，允许用户根据具体应用场景调整系统参数，以达到最佳性能。

异同

ORB-SLAM2和ORB-SLAM3都是基于特征点的视觉SLAM（Simultaneous Localization and Mapping）系统，由Raul Mur-Artal、Jorge D. Tardos和Jose M. M. Montiel等人开发。尽管它们有很多相似之处，但ORB-SLAM3在ORB-SLAM2的基础上进行了显著的改进和扩展。以下是两者之间的主要异同点：

相似之处：

1. 特征点提取：两者都使用ORB（Oriented FAST and Rotated BRIEF）特征点检测器来提取图像中的关键点，并计算其描述符。

2. 运动估计：两者都采用基于特征点匹配的方法来估计相机的相对运动，使用PnP（Perspective-n-Point）算法进行粗略估计，并通过优化算法（如g2o或Ceres Solver）进行精确估计。

3. 地图构建：两者都支持关键点地图（Keypoint Map）和词袋地图（Bag of Words Map）来表示环境。

4. 回环检测：两者都包含回环检测机制，以识别相机回到之前访问过的位置，并通过图优化技术来提高定位的准确性。

不同之处：

1. 系统架构：ORB-SLAM3在ORB-SLAM2的基础上进行了架构上的优化，提高了系统的模块化和可扩展性。

2. 多传感器融合：ORB-SLAM3增加了对IMU（惯性测量单元）数据的支持，可以实现视觉-惯性融合，提高系统的鲁棒性和精度。

3. 直接地图：ORB-SLAM3引入了直接地图（Direct Map），这是一种新的地图表示，用于存储和匹配图像中的直接特征描述符，而不是关键点。这有助于提高回环检测的效率和准确性。

4. 实时性能：ORB-SLAM3在实时性能方面进行了优化，特别是在处理高动态环境和快速运动时。

5. 精度和鲁棒性：ORB-SLAM3在精度和鲁棒性方面进行了改进，特别是在处理动态物体和复杂光照条件时。

6. 可视化和输出：ORB-SLAM3提供了更丰富的可视化选项和输出格式，使得用户可以更容易地分析和理解SLAM过程。

7. 配置和灵活性：ORB-SLAM3提供了更多的配置选项，允许用户根据具体应用场景调整系统参数，以实现最佳性能。

总的来说，ORB-SLAM3在ORB-SLAM2的基础上进行了一系列的改进，特别是在多传感器融合、直接地图的使用、实时性能和系统架构方面。这些改进使得ORB-SLAM3在更广泛的应用场景中表现出更好的性能和鲁棒性。