imu 里程计融合_SLAM综述：激光与视觉融合SLAM

说到激光雷达和视觉SLAM系统，必不可少的工作是两者之间的外参标定。

多传感器校准

• Camera&IMU: Kalibr[1]是一个工具箱，解决了以下几种传感器的校准：

1. 1. 多摄像机校准。
   2. 视觉惯性校准(Camera IMU)。
   3. 卷帘快门式摄像机校准。

Vins融合了视觉与IMU,具有在线空间校准和在线时间校准的功能。

MSCKF-VIO具有摄像机和IMU的校准功能。

mc-VINS[2]可以校准所有多个摄像机和IMU之间的外部参数和时间偏移。

IMU-TK[3][4]还可以对IMU的内部参数进行校准。

论文[5]提出了一种用于单目VIO的端到端网络，融合了来自摄像机和IMU的数据。

单目与深度相机校准

• BAD SLAM[6]提出了一个使用同步全局快门RGB和深度相机的校准。

• 相机和相机：mcptam[7]是一个使用多摄像机的SLAM系统。它还可以校准内、外参数。MultiCol SLAM[8]是一个multifisheye相机SLAM。此外，最新版本的SVO还可以支持多个摄像头。

• Lidar& IMU: LIO-mapping [9]引入了一种紧密耦合的Lidar-IMU融合方法。激光雷达与IMU的对准是一种在三维空间中激光雷达和六自由度姿态传感器之间寻找外部校准的方法。激光雷达的外部标定见[10][11]。博士论文[12]阐述了激光雷达校准的工作。

• Camera&Lidar:论文[13]介绍了一种概率监测算法和一个连续校准优化器，使摄像机和激光雷达的校准能够在线、自动地进行。
• Lidar-Camera [14]提出了一种新的流程和实验装置，用于寻找精确的刚体变换，以利用3D-3D点对应对来Lidar和相机进行外部校准。
• RegNet[15]是第一个利用扫描激光雷达和单目相机推断多模态传感器之间6DOF外部校准的深卷积神经网络(CNN)。
• LIMO[16]提出了一种基于LIDAR测量的深度提取算法，用于摄像机特征轨迹的提取和运动估计。CalibNet[17]是一个自监督的深网络，能够实时自动估计三维激光雷达和二维相机之间的六自由度刚体变换。Autoware也可以用于激光雷达和摄像机的校准工作。

激光雷达和视觉SLAM系统核心：激光雷达与视觉信息的融合。

激光雷达与视觉融合

硬件层：比如Pandora是一款集40线激光雷达、相机和识别算法于一体的软硬件解决方案。集成的解决方案可以使开发人员从时间同步中得到舒适的体验。专心于算法的开发。

数据层：激光雷达具有稀疏、高精度的深度数据，相机具有密集但低精度的深度数据，两者的融合可以完成对图像中像素的深度值得修复．论文[18]仅依赖基本图像处理操作完成了稀疏激光雷达深度数据与图像的融合。随着深度学习的深入，[19]提出使用单一的深度回归网络直接从RGB-D原始数据中学习，并探索深度样本数量的影响。[20]考虑CNN在稀疏输入上运行，并应用稀疏激光扫描数据完成深度估计。

DFuseNet[21]提出了一种CNN，该CNN被设计用于基于从高分辨率强度图像中收集到的上下文线索对一系列稀疏距离测量进行上采样。

LICFusion[22]融合了IMU测量值、稀疏视觉特征和提取的LiDAR点云数据。