一种基于反馈机制的立体视觉惯性SLAM

1.引言

提出了一种基于滤波和基于优化的反馈机制的一种VISLAM。将后端产生的优化状态反馈给前端，以修正状态估计。作为回报，这些从前端获得的更精确的状态可以加速后端的优化过程。总之，反馈机制使VIO/VISLAM系统的前端和后端能够相互促进，从而提高VIO/VISLAM系统的效率和准确性。
对VISLAM系统采用紧耦合方法，因此，还设计了一个长期的重定位框架，并提出了相应的反馈机制，以检测重新访问的环境，并继续更准确地映射未访问的环境。
综上所述，这项工作的主要贡献如下：

1. 第一个紧密耦合的立体VISLAM系统，通过反馈机制将基于滤波的前端和基于优化的后端相结合，显著提高了6自由度姿态估计的精度和效率。
2. 利用所提出的反馈机制，我们还设计了一个长期再定位框架，该框架能够在先前访问过的环境中执行视觉惯性定位，并在未访问的区域进行地图重建。
3. 我们在EuRoc数据集和真实世界场景下，将拟议系统的性能与其他最先进的VIO/VISLAM系统进行比较。实验结果表明，该系统具有良好的精度和效率。

2.相关研究

VIO/VISLAM方法可分为基于滤波的方法和基于优化的方法，根据传感器融合类型又可进一步分为松耦合和紧耦合系统；松耦合方法，如Duo VIO分别通过视觉和IMU测量来估计姿势。因此，无法通过使用IMU测量消除VO中的累积漂移，从而导致次优估计。相比之下，紧密耦合的方法，如PIRVS、S-MSCKF、ICE-BA、Trifo VIO、VINS Fusion将相机和IMU的状态融合到一个模型中，以优化视觉和惯性测量，从而以增加计算量为代价实现更高的精度。此外，对于这些紧密耦合的方法，有两种方法被广泛采用：基于滤波的方法和基于优化的方法。

3.基于反馈机制的VISLAM系统

如图1所示，所提出的紧耦合立体VISLAM系统包括三个模块：（1）滤波器前置vio，（2）基于优化的带环路的反馈，（3）状态反馈。前端VIO基于S-MSCKF（立体多状态约束KF）VIO[31]，以紧密耦合的方式融合视觉和IMU测量结果，有效地估计3D姿态、速度和偏差。后端使用基于关键帧的VISLAM[35]来优化滑动窗口中的状态，并遵循ORB-SLAM2[3]中的方法，执行全局BA以减少检测到循环关闭时的漂移。为了使前端估计有更高的精度，在后端将本地或全局BA优化后的状态反馈给前端。此外，反馈的状态更新也为后端提供了更精确的初始状态，从而加快了优化速度。

图 1 反馈VISLAM框架

3.1 前端

前端VIO的主干是S-MSCKF，其关键思想是使用特征轨迹观测来维护和更新相机姿势的滑动窗口，而不将特征包含在状态向量中。相反，通过多视点三角剖分来估计三维特征的位置，并将其边缘化，从而大大降低了计算成本，使其复杂度在特征数量上呈线性。与S-MSCKF的更新机制不同，使用滑动窗口中摄像机帧（至少两个摄像机帧）观测到的所有地图点来更新EKF状态。因为在无纹理场景（如道路）中，检测到的地图点的数量本来就较少，通过使用所有地图点的约束可以更精确地观察。
当滑动窗口中摄像机状态的个数达到预设的阈值N，并捕捉到新的图像时，将判断前一帧是否为关键帧。如果前一帧是关键帧，则删除最旧的状态；否则，删除上一个状态。因此可以确保滑动窗口中之前的N-1帧是关键帧。

3.2 后端

视觉和惯性测量的统一公式用于联合优化滑动窗口中的完整状态。为了加快优化速度，从VINS Mono[16]的目标函数中去掉了先验项，并将视觉惯性BA定义为：

因为去除先验信息，故将最旧的关键帧作为先验信息，以获得与全局映射一致且平滑的结果。

3.3 反馈机制

当前端检测到一个关键帧时，将其对应的状态传输到后端进行非线性优化。优化后，将优化结果反馈给前端更新状态。优化后，将优化结果反馈给前端更新状态。但是，前端的当前状态与优化状态不同，因为前端和后端的性能不同。前端的当前状态可分为两部分：（1）已转移到后端的旧状态；（2）新状态。
使用两种方法来更新状态：（1）对旧状态使用通用KF更新规则；（2）对新状态使用非线性优化方法。

A.旧状态更新

A.新状态更新

基于边缘化机制，新的帧包含一个或多个关键帧和当前帧）。对于这新的框架，使用非线性优化来改进它们的估计。如图所示，当执行后端优化时，最后一个关键帧PC的状态估计足够精确。因此，为了节省计算资源，只使用最后一个关键帧和新的帧，通过最小化目标函数进行优化。需要注意的是，最后一个关键帧作为先验信息在优化过程中是固定的，首先根据从后端获得的优化状态更新局部映射点，然后再对其进行优化以优化新的摄像机状态。