LVI-SAM：紧耦合的激光视觉惯导SLAM系统（Tixiao Shan新作，已开源）

论文地址：在公众号「计算机视觉工坊」，后台回复「LVI-SAM」，即可直接下载。

我相信很多人对激光视觉惯导融合的系统都是这样设计的，但是最难的是把自己的想法保质保量的实现出来。我们做不到但是大佬可以！

摘要

本文提出了一个紧耦合的雷达视觉惯导SLAM系统，可以实时高精度鲁棒的进行状态估计和建图。LVI-SAM构建在因子图之上，并且由两个子系统组成：一个视觉惯导系统和一个激光惯导系统。这两个子系统利用紧耦合的方法，视觉惯导的系统利用激光惯导的估计来做初始化。视觉惯导系统利用激光雷达的测量给视觉特征提供深度来提升精度。同时激光惯导系统利用视觉惯导的估计值作为初值来做帧的匹配。利用视觉做闭环检测，把检测的结果给激光惯导系统来做优化。当激光惯导和视觉惯导子系统的一个失败的时候LVI-SAM仍然可以工作，这极大的提升了系统在缺少纹理或者特征场景中的鲁棒性。LVI-SAM系统在数据集上进行了测试，取得了很好的效果。

介绍

基于雷达的SLAM系统可以获取很长范围的环境的细节，但是在缺少结构信息的场景中很容易失效。例如长走廊或者是开阔的广场。基于视觉的方法在纹理信息丰富的场景中表现良好，而且很容易做场景重识别。但是他们对光照的变化，快速运动和初始化很敏感。因此，激光和视觉经常和惯导融合来提升他们的精度和鲁棒性。惯导可以帮助去除点云的运动畸变，而且在缺少特征的环境中撑一小段时间，同时可以帮助视觉系统恢复尺度信息。

本文提供了一个紧耦合雷达视觉惯导里程计，LIS系统和VIS系统可以独立的运行（当一个系统失败的时候），也可以耦合在一起（当检测到很多特征点的时候）。视觉惯导系统执行利用雷达帧恢复深度的视觉特征的跟踪，通过优化视觉重投影误差和imu测量误差的视觉里程计为激光雷达的scan-matching提供初值，并且把约束加入到因子图中。当利用imu把点云的畸变去除后，激光惯导系统检测点云的边缘和平面特征，并和保存在划窗中的features map对齐。LIS系统估计得到的系统状态可以传到VIS系统中做初始化。对于闭环，候选的匹配帧通过视觉的词袋模型得到，在LIS系统中做优化。来自视觉里程计，激光里程计，imu预积分和闭环的约束都会放到因子图中，最后，优化得到的IMU的bias用来递推给出IMU频率的位姿。本文的主要贡献有：

• 基于因子图的紧耦合的LVIO系统，实现了多传感器融合与基于场景重识别的全局优化；

• 通过故障检测来绕过失败的子系统，使其对传感器性能下降具有鲁棒性；

• 利用不同的数据集进行了完善的验证。

从系统的角度来看，作者的工作是新颖的，代表了VIO和LIO中最新技术的集成，实现了高精度的LVI系统，作者希望大家可以以此为基础，推动激光惯导视觉融合系统的发展。

完整的激光视觉惯导SLAM系统

A. 系统概述

系统接受3D激光点云、单目图像和IMU信息作为输入。VIS系统接受图像和IMU信息，雷达点云是可选的输入。通过最小化IMU和视觉的测量残差来得到视觉里程计。激光里程计通过最小化检测到的线面特征到特征图的距离得到。特征图保存在一个滑窗中来实时的执行。最后状态估计问题，可以公式化为一个MAP问题。利用iSAM2来优化因子图中IMU预积分，视觉里程计，激光里程计和闭环的约束的残差。需要注意的是，LIS中采用的多传感器图优化旨在减少数据交换并提高系统效率。

B. 视觉惯导系统

视