SLAM学习-论文综述(三)

论文题目：
A Survey of Simultaneous Localization and Mapping(2020)
作者：Baichuan Huang1,2, Jun Zhao1Jingbin Liu2
           1  Nanyang Technological University, Singapore 新加坡南洋理工大学
           2  Wuhan University, Wuhan, China  武汉大学

4.激光雷达--视觉融合SLAM

4.1多传感器校准

Camera & IMU

1.Kalibr

一个工具箱，用于解决以下校准问题：多摄像机校准、视觉惯性校准（摄像机IMU）和滚动快门摄像机校准。

2.Vins Fusion

具有在线空间校准和在线时间校准。

3.MSCKF-VIO

还具有摄像头和IMU的校准功能

4.mc VINS

可以校准所有多个摄像头和IMU之间的8个外部参数和时间偏移。

5.IMU-TK

可以校准IMU的内部参数。其他工作见[245]。[246]提出了一种用于单目VIO的端到端网络，该网络融合了来自摄像头和IMU的数据。

相机&深度相机

BAD SLAM[247]为此任务提出了一个校准基准，使用同步全局快门RGB和深度相机。

相机&相机

1.mcptam

一个使用多摄像头的SLAM系统。它还可以校准内部和外部参数

2.MultiCol SLAM

一款多功能相机SLAM。此外，SVO的更新版本还可以支持多个摄像头。在Rovio[250]中可以看到其他类似的工作。

激光雷达& IMU

1.LIO mapping

介绍了一种紧密耦合的激光雷达IMU融合方法。

2.Lidar-Alignis

一种简单的方法，用于在三维激光雷达和6自由度姿态传感器之间找到外部校准。在[252][253]中可以看到激光雷达的外部校准。博士论文[254]阐述了激光雷达校准的工作。

相机&激光雷达：

[255]介绍了一种概率监控算法和一个连续校准优化器，可实现摄像机激光在线自动校准。

激光雷达和相机

[256]提出了一种新的管线和实验装置，用于找到精确的刚体变换，以便使用3D-3D点对应对激光雷达和相机进行外部校准。

RegNet[257]是第一个推断多模态传感器之间6个自由度（DOF）外部校准的深卷积神经网络（CNN），以扫描激光雷达和单目相机为例。

LIMO[258]提出了一种从激光雷达测量值中提取深度的算法，用于相机特征轨迹和估计运动。

CalibNet[259]是一个自我监督的深度网络，能够实时自动估计3D激光雷达和2D相机之间的6自由度刚体变换

Autoware的校准工具可以校准信号光束激光雷达和摄像头。

其他：

Vin2[263]展示了一个基于OKVIS的水下SLAM系统，它融合了声纳、视觉、惯性和深度传感器。

[264]提出了一种新的水下摄像机IMU校准模型，

[265]使用语义图像分割来检测水下障碍物。

WiFi SLAM[266]展示了一种具有无线信号的新型SLAM技术，名为WiFi。

[267]使用毫米波甚至可以定位非直瞄机器人，并且[268][269]引入了更多借助无线信号进行定位的技术。

KO Fusion[120]融合了视觉和轮式里程表。

[270]在视觉退化的环境（如黑暗）中使用带IMU的热摄像头。

4.2激光雷达与视觉融合

硬件层

来自HESAI的Pandora是一个软件和硬件解决方案，集成了40束激光雷达、五色摄像头和识别算法。集成的解决方案可以让开发人员从时间和空间同步中解脱出来。

KAARTA公司：

CONTOUR ( 远程移动3d扫描技术的灵活平台，可映射到各种室外和大型内部应用程序)，

STENCIL（ 多合一的移动3D扫描技术 ， 用于内部地图绘制以及狭窄，复杂的空间，从而加快了从扫描到BIM的工作流程）

数据层：

激光雷达具有稀疏的高精度深度数据，而相机具有密集但低精度的深度数据，这将导致基于图像的深度上采样和基于图像的深度修复/完成

[271]针对深度图像上采样的挑战性问题提出了一种新方法。

[272]仅依靠基本的图像处理操作来完成稀疏激光雷达深度数据的深度完成。

通过深度学习，[273]提出使用单个深度回归网络直接从RGB-D原始数据学习，并探索深度样本数量的影响。

[274]考虑CNN在稀疏输入上运行，并应用稀疏激光扫描数据完成深度。

DFuseNet[275]提出了一种CNN，该CNN旨在根据从高分辨率强度图像中收集的上下文线索，对一系列稀疏距离测量进行上采样。

LICFusion[278]融合了IMU测量、稀疏视觉特征和提取的激光雷达点。

任务层

[279]融合立体相机和激光雷达进行感知。

[280]融合雷达、激光雷达和摄像头，以检测和分类移动物体。可以看到其他传统作品，但不限于[281][282][283]。

[284]可以通过深度信息（如RGB-D摄像头提供的深度信息）或与摄像头相关的激光雷达（即使很少可用）来增强VO。

V-Loam[285]介绍了视觉里程计和激光雷达里程计相结合的一般框架。在线方法从视觉里程计开始，基于扫描匹配的激光雷达里程计同时细化运动估计和点云配准

VI-SLAM[286]致力于开发一种系统，该系统将精确的激光里程计估计器与使用视觉实现环路检测的位置识别算法相结合。

[287]针对SLAM的跟踪部分，使用RGB-D摄像头和2d低成本激光雷达，通过模式切换和数据融合完成坚固的室内SLAM。

VIL-SLAM[288]将紧密耦合的立体VIO与激光雷达映射和激光雷达增强的视觉环路闭合相结合。

[289]将单目摄像头图像与激光距离测量相结合，以确保视觉冲击不会因尺度不确定性增加而产生误差。

在深度学习中，许多检测和识别来自相机和激光雷达的融合数据的方法，如PointFusion[290]、RoarNet[291]、VOD[292]、MV3D[26]、FuseNet[293]。

[295]利用激光雷达和摄像头，以端到端的可学习架构进行非常精确的定位。

[296]融合了3D激光雷达和单目摄像头。

4.3挑战与展望

数据关联

SLAM的未来必须集成多个传感器。但不同的传感器有不同的数据类型、时间戳和坐标系表达式，需要统一处理。此外，还应考虑多传感器之间的物理模型建立、状态估计和优化。

集成硬件

目前，还没有合适的芯片和集成硬件使SLAM技术更容易成为产品。另一方面，如果传感器的精度因故障、非标称条件或老化而降低，则传感器测量的质量（例如噪声、偏差）与噪声模型不匹配。应遵循硬件的鲁棒性和集成性。前端传感器应具备数据处理能力，从硬件层到算法层，再到功能层，再到SDK，应进行创新。

众包

分散式视觉SLAM是在没有绝对定位系统的环境中多机器人应用的强大工具[298]。协同优化视觉多机器人SLAM需要分散的数据和优化，这被称为众包。分散数据过程中的隐私问题应引起注意。差异隐私技术[299][300]可能会帮上忙。

高清地图

高清地图对机器人至关重要。但哪种地图最适合机器人？密集地图或稀疏地图可以导航、定位和路径规划吗？长期制图的一个相关开放问题是，多久更新一次地图中包含的信息，以及如何决定这些信息何时过时，何时可以丢弃。

适应性、鲁棒性、可扩展性

现在没有一个SLAM系统可以覆盖所有场景。为了在给定的场景中正常工作，大多数情况下都需要大量的参数调整。为了让机器人感知人类，首选基于外观的方法，而不是基于特征的方法，这将有助于在昼夜序列之间或不同季节之间与语义信息进行闭环集成。

抵御风险和约束的能力

完美的SLAM系统应具有故障安全性和故障意识。这不是关于重新定位或循环结束的问题。SLAM系统必须有能力应对风险或故障。同时，无论平台的计算约束如何，理想的SLAM解决方案都应该能够在不同的平台上运行。如何平衡准确性、鲁棒性和有限的资源是一个具有挑战性的问题。

应用

SLAM技术具有广泛的应用，例如：大规模定位、导航和3D或语义地图构建、环境识别和理解、地面机器人、UA V、VR/AR/MR、AGV（自动引导车辆）、自动驾驶、虚拟室内装潢、虚拟试衣间、沉浸式网络游戏、，地震救援，视频分割和编辑。

开放性问题：端到端学习会主导SLAM吗？