VINS-Mono翻译

Abstract

由摄像机和低成本惯性测量单元(IMU)组成的单目视觉惯性系统(VINS)构成了用于度量六自由度状态估计的最小传感器套件。然而，由于缺乏直接距离测量，在IMU处理、估计器初始化、外部标定和非线性优化等方面提出了重大挑战。在本文中，我们提出了一种鲁棒的、通用的单目视觉惯性状态估计器VINSMono.我们的方法从一个稳健的程序开始，用于估计器初始化和故障恢复。采用一种基于紧耦合、非线性优化的方法，通过融合预计分的IMU测量数据和特征观测数据，获得高精度的视觉惯性里程计。结合我们紧耦合的公式，一个循环检测模块能够以最小的计算开销重新定位.此外，我们还执行四自由度姿态图优化，以加强全局一致性.我们验证了我们的系统在公共数据集和真实世界实验上的性能，并与其他最先进的算法进行了比较。我们还在MAV平台上执行星载闭环自主飞行，并将算法移植到基于IOS的演示中。我们强调，所提议的工作是一个可靠、完整和多功能的系统，适用于需要高精度定位的不同应用程序。我们为个人电脑和iOS移动设备开放了我们的实现方法。

 

I. INTRODUCTION

状态估计无疑是机器人导航、自主驾驶、虚拟现实(VR)和增强现实(AR)等广泛应用中最基本的模块。仅使用单目摄像机的方法由于其体积小、成本低和硬件设置简单而获得了社区的极大兴趣。然而，单目视觉系统无法恢复公制尺度，因此限制了它们在实际机器人应用中的应用。近年来，我们看到了一种发展趋势，即用低成本惯性测量单元(IMU)辅助单目视觉系统。这种单目视觉-惯性系统(VINS)的主要优点是具有公制尺度，以及滚动角和俯仰角，所有这些都是可观测的。这让需要度量状态估计的导航任务成为可能。此外，积分IMU测量可以显着地改善运动跟踪性能，弥补由于光照变化，纹理无区域，或运动模糊的视觉轨迹损失之间的差距。事实上，单目VINS不仅广泛应用于移动机器人、无人机和移动设备上，而且是满足充分自我感知和环境感知的最小传感器设置。

然而，所有这些优势都是有代价的。对于单目VIN，众所周知，加速度激励需要测量到尺度。这意味着单目VIN估计器不能从静止状态开始，而是从未知的移动状态发射。也认识到视觉惯性系统高度非线性的事实，在初始化估计方面还有重大挑战。两个传感器的存在也使得摄像机-IMU的外部校准至关重要。最后，为了消除在可接受的处理窗口内的长期漂移，提出了一个完整的系统，包括视觉惯性里程计，回环检测、重定位和全局优化。

为了解决所有这些问题，我们提出了VINS-MONO，一个强大的和多功能的单目视觉惯性状态估计。我们的解决方案开始于即时估计初始化。这个初始化模块也用于故障恢复。我们的解决方案的核心是一个鲁棒的基于紧耦合滑动窗非线性优化的单目视觉惯性里程计（VIO）。单目VIO模块不仅提供精确的局部姿态、速度和方位估计，而且还以在线方式执行摄像机IMU外部校准和IMU偏置校正。使用DBoW进行回环检测。重新定位是在对单目VIO进行特征级别融合的紧耦合设置中完成。这使得重新定位具有鲁棒性和精确性且有最小的计算开销。最后，几何验证回路被添加到姿态图中，并且由于来自单目VIO的可观察的滚转和俯仰角，生成四自由度（DOF）姿态图以确保全局一致性。

VINS-Mono结合并改进了我们以前在单目视觉-惯性融合方面的工作。它建立在我们的紧耦合，基于优化的单目VIO的公式之上，并结合了[9]中引入的改进的初始化过程。第一次尝试移植到移动设备是在[10]。与我们以前的工作相比，VINS-Mono的进一步改进包括改进的含偏置校正的IMU预积分、紧耦合重定位、全局姿态图优化、广泛的实验评估以及健壮和通用的开源实现。

整个系统完整且易于使用。它已经被成功应用于小规模AR场景、中型无人机导航和大规模状态估计任务。已经针对现有技术方法的其它状态示出了优异的性能。为此，我们总结了我们的贡献如下所示：

*一个健壮的初始化过程，它能够从未知的初始状态引导系统。

*一个紧耦合，优化的单目视觉惯性里程计与相机-IMU外部校准和IMU偏置估计。

*在线回环检测与紧耦合重定位。

*四自由度全局姿态图优化。

*用于无人机导航、大规模本地化和移动AR应用的实时性能演示。

*与ros完全积分的pc版本以及在iphone 6或更高版本上运行的IOS版本的开源版本。

论文的其余部分如下：在第二节中，我们讨论了相关的文献。我们在第三节中对完整的系统框架进行了概述。在第四节中给出了视觉和预处理IMU测量的预处理步骤。在第五节中，我们讨论了估计器的初始化过程。在第六节中提出了一种紧耦合、自标定、非线性优化的单目VIO。第七节和第八节分别给出了紧耦合重定位和全局姿态图优化。实施细节和实验结果见第九节。最后，第十节本文对研究方向进行了探讨和展望。

 

II. RELATED WORK

关于基于单目视觉的状态估计/里程测量/SLAM的学术著作非常广泛。值得注意的方法包括PTAM、SVO、LSD-SLAM、DSO和ORB-SLAM。显然，任何进行全面回顾都是不完整的。然而，在这一节中，我们跳过了关于只使用视觉的方法的讨论，而只专注于关于单目视觉惯性状态估计的最相关的结果。

处理视觉和惯性测量的最简单的方法是松耦合传感器融合，其中IMU被视为一个独立的模块，用于辅助从运动中获得的视觉结构的视觉姿态估计。融合通常由扩展卡尔曼滤波(EKF)完成，其中IMU用于状态传播，而视觉姿态用于更新。进一步说，紧耦合视觉惯性算法要么基于EKF，要么基于图优化，其中摄像机和IMU测量是从原始测量水平联合优化的。一种流行的基于EKF的VIO方法是MSCKF。MSCKF在状态向量中维护以前的几个摄像机姿态，并使用多个摄像机视图中相同特征的视觉测量来形成多约束更新。SR-ISWF是MSCKF的扩展。它采用SQuareroot格式实现单精度表示，避免了差的数值性质。该方法采用逆滤波器进行迭代再线性化，使其与基于优化的算法相当.批量图优化或捆绑调整（BA）技术维护和优化所有的测量，以获得最优状态估计。为了达到恒定的处理时间，流行的基于图的VIO方法通常通过边缘化有过去的状态和测量的有界滑动窗口来优化最近状态。由于对非线性系统迭代求解的计算要求很高，很少有基于图的非线性系统能够在资源受限的平台(如手机)上实现实时性能。

对于视觉测量处理，根据视觉残差模型的定义，算法可分为直接法和间接法。直接法最小光度误差，而间接法最小几何位移。直接方法由于其吸引区域小，需要很好的初始估计，而间接方法在提取和匹配特征时需要额外的计算资源。间接方法由于其成熟性和鲁棒性，在实际工程部署中得到了广泛的应用。然而，直接方法更容易扩展到稠密建图，因为它们是直接在像素级别上操作的。

在实践中，IMU通常以比摄像机更高的速度获取数据。不同的方法被提出来处理高速率的IMU测量。最简单的方法是在基于EKF的方法中使用IMU进行状态传播。在图优化公式中，为了避免重复的IMU重复积分，提出了一种有效的方法，即IMU预积分，这种方法是在[22]中首次提出的，它用欧拉角来参数化旋转误差。在我们先前的工作中，我们提出了一种流形上的IMU-preIntegration旋转公式，该文利用连续IMU误差状态动力学推导了协方差传播。然而，IMU偏置被忽略了。文[23]通过增加后验IMU偏置校正，进一步改进了预积分理论。

精确的初始值对于引导任何单目VINS是至关重要的。在[8]，[24]中提出了一种利用短期IMU预积分相对旋转的线性估计器初始化方法。但是，该方法不对陀螺仪偏置进行建模，无法在原始投影方程中对传感器噪声进行建模。在实际应用中，当视觉特性远离传感器套件时，这会导致不可靠的初始化。文[25]给出了单目视觉惯性初始化问题的一种封闭解.随后，文[26]提出了对这种封闭形式的解决方案的扩展，增加了陀螺仪的偏置校准。这些方法依赖于长时间内IMU测量的双重积分，无法模拟惯性积分的不确定性。在[27]中，提出了一种基于SVO的重初始化和故障恢复算法.这是一种基于松散耦合融合框架的实用方法。然而，需要额外的朝下的距离传感器来恢复公制尺度.在[17]中引入了一种建立在流行的ORB-SLAM之上的初始化算法.给出了一组ORB-SLAM的关键帧，计算了视觉惯性全BA的尺度、重力方向、速度和IMU偏置的初步估计。然而，据报道，规模收敛所需的时间可能超过10秒。这可能会给需要在一开始就进行规模评估的机器人导航任务带来问题。

VIO方法，不管它们所依赖的基本数学公式，在全局的平移和旋转中长期受到漂移的影响。为此，回环检测在长期操作中起着重要的作用.ORBSLAM能够关闭循环并重新使用地图，它利用了词袋模型。一个7自由度（位置、方向和尺度)的姿态图优化遵循回环检测。相对于单目Vins，由于IMU的加入，漂移只发生在4自由度，即三维平移，并围绕重力方向(偏航角)旋转。因此，本文选择在最小四自由度设定下，优化具有回路约束的姿态图。

 

III.OVERVIEW

提出的单目视觉惯性状态估计器的结构如图2所示.该系统从测量预处理(SectIV)开始，在其中提取和跟踪特征，对两个连续帧间的IMU测量进行预处理。初始化过程(SectV)提供了所有必要的值，包括姿态、速度、重力向量、陀螺仪偏置和三维特征位置，用于引导随后的基于非线性优化的VIO。VIO(SectVI)与重新定位(SectVII)模块紧密地融合了预先积分的IMU测量、特征观测和回环重新检测到的特征。最后，位姿图优化模块(SectVIII)接受几何验证的重定位结果，并进行全局优化以消除漂移。VIO、重新定位和姿态图优化模块在多线程设置中同时运行.每个模块有不同的运行速度和实时保证，以确保在任何时候的可靠运行。

我们现在定义在整个论文中使用的符号和框架定义。我们认为(.)^w是世界框架。重力的方向与世界帧的z轴对齐。(·)^b是物体框架，我们把它定义为与IMU框架相同。(·)^c是相机框架。我们使用旋转矩阵R和Hamilton四元数q来表示旋转。我们主要在状态向量中使用四元数，但三维向量的旋转用旋转矩阵来方便表示。q_w^b,P_W^b是从B帧到W帧的旋转和平移。b_k是当取k个图像时的B帧。c_k是在获取k个图像时的相机帧。⊗表示两个四元数之间的乘法运算。gw=[0,0,g]^T是世界范围内的重力向量。最后，我们将(^{^}_·)表示为某一量的噪声测量值或估计值。

 

IV.MEASUREMENT PREPROCESSING

本节介绍VIO的预处理步骤。对于视觉测量，我们跟踪连续帧之间的特征，并检测最新帧中的新特征。对于IMU测量，我们将它们预先积分在两个连续的帧之间。请注意，我们使用的低成本IMU的测量值受到偏置和噪声的影响。因此，我们在IMU的预积分过程中特别考虑到偏置。

A.视觉处理前端

       对于每一幅新图像，KLT稀疏光流算法对现有特征进行跟踪。同时，检测新的角点特征以保持每个图像中特征的最小数目(100-300)。该检测器通过设置两个相邻特征之间像素的最小间隔来执行均匀的特征分布。二维特征首先是不失真的，然后在通过异常点剔除后投射到一个单位球面上。利用基本矩阵模型的RANSAC进行外点剔除。（外点、异常点）

       在此步骤中还选择了关键帧。我们有两个关键帧选择的标准。第一个是与前一个关键帧不同的平均视差。如果跟踪特征的平均视差介于当前帧和最新的关键帧之间，则将帧视为新的关键帧。请注意，不仅平移，旋转也会产生视差。然而，特征不能在旋转-纯运动中三角化.为了避免这种情况，在计算视差时，我们使用陀螺仪测量的短期积分来补偿旋转。请注意，此旋转补偿仅用于关键帧选择，而不涉及VINS公式中的旋转计算。为此，即使陀螺仪含有较大的噪声或存在偏置，也只会导致次优的关键帧选择结果，不会直接影响估计质量。另一个标准是跟踪质量。如果跟