[论文笔记|VIO]ROVINS: Robust Omnidirectional Visual Inertial Navigation System

I. 摘要

视觉里程计的视觉传感器在快速运动或光照突变时很容易受到影响。在视觉感知变得不稳定时保持短期运动，惯性信息可以提高估计运动的质量。基于之前的工作-ROVO，本文介绍了一种能够将惯性信息无缝集成到全向视觉里程计算法中的全局视觉惯性里程计系统(RovINS)：(A)首先在姿态优化公式中加入来自惯性测量的软相对姿态约束，使得在所有视觉特征丢失时能够进行盲运动估计；(B)利用估计速度的预测结果对跟踪中的视觉特征进行初始化，使得特征跟踪对视觉干扰具有更强的鲁棒性。实验结果表明，所提出的Rovins算法的性能明显优于纯视觉算法。

II. 贡献

1. 本文通过捕获运动速度快、光照变化大、拥挤度大的极具挑战性的测试序列，对所提出的Rovins算法的性能进行了评估。
2. 利用运动捕获系统采集了地面真实钻机位姿数据，并进行了定性和定量比较，验证了算法性能的改进。

III. PRELIMINARIES

在ROVO中，使用4个超宽鱼眼摄像机进行运动估计。这些相机配备了220◦FV视场镜头，以最大限度地扩大重叠区域，以便对跟踪的特征进行立体匹配。与传统的单目或立体VO系统相比，ROVO表现出优越的性能，因为特征点一直保持在视野中，直到它们被其他对象遮挡或变得太远。但是，由于单纯依赖于视觉特征点，它仍然具有传统VO算法的局限性。将惯性运动约束融入到ROVO的优化框架中，提出的鲁棒全向视觉惯性导航系统(RovINS)进一步提高了传统VO或ROVO系统的运动估计性能

A. IMU Pre-Integration

B. Notation

世界路标点坐标系变换：

(超宽FOV摄像机-单位球面)投影函数($\bar{x}$为投影点的归一化图像坐标)：

要优化的状态向量：

IV. ALGORITHM

假设相机内部参数和IMU-相机的外部参数被校准和给定，并且所有相机与IMU数据同步地捕捉图像，与摄像机时间同步。首先，将原始鱼眼图像变形为混合投影图像，并使用中点预积分传播来自IMU数据的运动。然后，在混合投影图像中进行特征检测和IMU辅助的视内特征跟踪。将来自IMU的传播旋转输入到IMU辅助特征跟踪器，用于预测当前帧中的特征位置。随后是视点间立体特征匹配，以找出相机之间的特征对应。一旦完成数据处理步骤，就检查相机和IMU是否被初始化。如果没有初始化，ROVO执行纯视觉的SFM来处理视觉-惯性对准。然后，使用非线性优化将系统初始化进行优化。

A. Measurement Processing

在整个算法中，对原始输入图像和IMU测量值进行连续处理。最初，原始图像被投影到混合投影图像中，用于特征提取、跟踪和匹配。利用混合投影图像可以最大限度地减少失真，最大限度地实现跨视图的特征匹配和跟踪。这些最初的步骤是特征跟踪从发现到消失的必要步骤。此外，从混合投影图像中提取ORB特征，作为视图内跟踪和视图间匹配的输入。同时，IMU测量值使用预积分方法进行传播。预积分计算前一帧图像的相对位姿变化及其在位姿协方差矩阵中的不确定性。对两个测量值进行处理后，利用预积分的IMU运动提高特征跟踪性能，然后进行跨视图的立体特征匹配。

B. Feature Tracking With Prediction

本文在初始化KLT跟踪器之前，利用预先集成的IMU姿态计算预测的特征位置。在本工作中，当三维特征点可用时，通过IMU传播的运动将三维特征点重新投影到当前图像平面上来完成特征位置预测。否则，如果特征还没有被配准，则只考虑传播的IMU的旋转来进行预测。

C. Vision-Inertial Initialization

松耦合。

1) Vision-Only SFM:

由于它观察的是所有方向，初始运动退化的可能性很小(例如，纯旋转);这种故障情况可以通过检查姿态inliers的数量(50)来过滤。当系统打开时，首先监测是否产生足够的运动(15个关键帧)，然后再进行视觉-惯性对准。

2) Visual-Inertial Alignment:

在本系统中，通过全方位的多视角立体设置，可以直接观察到度量尺度，使IMU和相机测量数据融合，无需考虑初始尺度估计和尺度更新。校准采用Hong和Lim方法。本文使用改进的编码仅估计了重力方向、初速度和IMU偏差。

D. Optimization-Based Visual-Inertial Odometry

初始化完成后，使用IMU预积分更新当前帧位姿，然后根据研究超宽FOV设置中的重投影误差或单位光线切向误差剔除离群点特征。

剔除离群值后，对当前帧和活动局部窗口$W$中的关键帧的状态向量$\theta$进行视觉和IMU优化。利用Ceres求解器对优化问题进行求解，得到优化状态。

$\omega$与3D路标被检查为内点的数量成正比。

1. 视觉约束–重投影误差

2. IMU约束