基于多模态路标跟踪的紧耦合激光—视觉—惯导里程计（ICRA2021）

Unified Multi-Modal Landmark Tracking for Tightly Coupled Lidar-Visual-Inertial Odometry

来源：Wisth D, Camurri M, Das S, et al. Unified Multi-Modal Landmark Tracking for Tightly Coupled Lidar-Visual-Inertial Odometry[J].  ICRA 2021

单位：Oxford University、KTH Royal Institute of Technology, Sweden、Scania AB,Sweden

针对问题：

面向复杂场景的多传感器融合里程计

提出方法：

系统构建了一个联合视觉、激光雷达和惯性信息进行优化的因子图，将视觉提取的点特征、激光雷达提取的线、面特征以及IMU预积分构建的残差放到同一个因子图中进行优化。

达到效果：

针对激光雷达与视觉退化场景实现自然切换，轻量级基元信息的建模及跟踪使得系统能够在单个CPU上实时运行，在Newer College Dataset、DARPA SubT Challenge（Urban）数据集上进行了系统性能评估，典型场景下与最先进的系统性能相当，极端情况下表现出更强的鲁棒性。

Abstract

我们提出了一个用于移动平台的高效的多传感器融合里程计，该系统构建了一个联合视觉、激光雷达和惯性信息进行优化的因子图。这在全帧率下使用固定滞后平滑的方式实时运行。为了进行此紧耦合系统，提出了一种从激光雷达点云中提取三维线和平面基元的新方法。这种方法克服了典型的帧对帧跟踪方法的次优性，将基元视为路标，并在多次扫描中跟踪它们。利用激光雷达和相机帧的被动同步，使激光雷达特征与标准视觉特征和IMU的真正整合成为可能。三维特征的轻量级建模允许系统能够在单个CPU上实时运行。我们提出的系统在各种平台和场景中进行了测试，包括足型机器人进行地下探索和用动态移动的手持设备进行户外扫描，总时长为96分钟，行走距离为2.4公里。在这些测试序列中，只使用一个外感觉传感器会导致失败，原因是几何形状限制不足（影响激光雷达），或者是由激进的光照变化造成的无纹理区域（影响视觉）。在这些条件下，我们的因子图自然地使用了每个传感器模式的最佳信息，而没有任何硬性的开关切换。

Motivation

与融合IMU、激光雷达和相机关联的两个主要挑战是。1）在移动平台有限的计算资源下实现实时性能；2）以不同的频率和采集方法运行的三种信号的适当同步。以前的工作通过采用松耦合的方法或通过运行两个独立的系统（一个用于激光雷达-惯性，另一个用于视觉惯性里程计）来解决这两个问题。

相反，我们的动机是通过以下方式来解决这些问题。1）提取和跟踪稀疏的轻量级基元；2）开发一个连贯的因子图，利用IMU预积分，将动态的点云转换为附近相机帧的时间戳。前者避免了匹配整个点云（如ICP）或跟踪数百个特征点（如LOAM）。后者使所有传感器的实时平滑耦合成为可能。

Contribution

一种新的因素图表述，将视觉、激光雷达和IMU测量紧耦合在一个统一的优化过程中。

一种提取激光雷达特征的有效方法，然后将其优化为路标。激光雷达和视觉特征都有一个统一的表示，因为路标都被当作n维的参数流形（即点、线和平面）。这种紧凑的表示方法使我们能够以额定的帧率处理所有的激光扫描信息。

在一系列场景中进行了广泛的实验评估，与更多的典型方法相比，这些方法在个别传感器失效时表现出卓越的鲁棒性。

此工作建立我们前期提出的VILENS基础上，相较于VILENS，本系统增加了激光雷达特征跟踪和激光雷达辅助的视觉跟踪。相机和激光雷达的融合使其能够在运动剧烈的便携式设备上使用，并且它可以自然地应对由于缺乏激光雷达或视觉特征的退化场景。

问题描述

我们的目标是估计一个装配有单目或双目相机、激光雷达、IMU的移动平台的位置、方向和线速度（在我们的实验中，是一个足型机器人或一个手持设备）。

相关的参考系如