多源信息融合_【干货】浙江大学刘勇教授：多源融合SLAM-现状与挑战

刘勇，浙江大学智能系统与控制研究所教授，浙江大学求是青年学者，浙江省“新世纪151人才工程”第二层次培养人员，担任浙江省机器换人专家组专家。承担NSFC-浙江两化融合联合基金、国家自然科学基金青年和面上项目、科技部863重点项目子课题、浙江省杰出青年基金、工信部重大专项等国家级省部级项目多项。获得浙江省自然科学奖2017(一等奖)，科学进步奖2013(一等奖)。主要研究方向包括：智能机器人系统、机器人感知与视觉、深度学习、大数据分析，多传感器融合等。

本文整理自刘勇教授在第二届SLAM技术论坛中的报告：《多源融合SLAM-现状与挑战》

---

01 多源融合SLAM-现状与挑战

SLAM的定义比较经典，它的核心就是一个状态估计问题，根据传感器观测到的数据以及一些实际的模型，如何对这两者进行结合来准确估计实际情况。这个问题虽然在数学模型上比较简单，但是在实际过程中会面临很多的挑战以及不如意的实际现象。

首先的一个挑战就是landmark在实际应用中的复杂性(由于环境的复杂性引起)；其次，由于sensor的不同，也会存在一些其他的问题。

具体来讲，在纹理少、四季天气变化、光照剧烈变化、车载条件IMU退化、长走廊、机器人剧烈运动等情况下，原来很好用的SLAM方法在这些情况下往往会无用。这都是很棘手的场景，这些场景会给我们带来实际应用中的困惑，采用单一的传感器会面临这个问题，所以多源融合这个领域很热门，被产业界所认可。

针对上述问题，我们使用多源融合的方法去克服复杂的场景，这些融合方法可以大致归结为三个类别：多传感器、多特征基元以及几何语义融合。

从多源融合框架图中可以看出，多源融合中第一个层面是多传感器的融合，比如激光或GPS。第二个层面是多特征基元的融合，我们可以通过对特征点、线段还有灰度信息这些特征进行提取，从而得到多个特征基元。

使用激光之后还能够得到三维点云的线特征、面特征以及正态分布特征，这些都是我们做SLAM时经常会使用的特征。对相机和激光进行融合可以得到两个通道的信息，即图像和点云。现在的很多工作会将图像和点云信息直接输入到神经网络，这从某种层面上来说能够帮助我们提取语义信息。然后加上点云和图像的语义信息，就能够把几何和语义融合起来，这是对多源融合的宏观概括。

在进行融合之后我们会面临一些问题。

第一个问题就是多传感器融合之后，传感器间数据如何同步？外参关系如何标定？这些都是绕不开的问题。

第二个问题是在引入大量传感器之后，数据处理非常耗时，这与我们希望实现轻量级、快速响应且紧凑的SLAM系统相矛盾。而且传感器根据原理的不同，有些观测相互耦合，信息有一定的冗余，所以如何实现多个传感器之间的有效耦合也是我们面临的一个挑战。

第三个问题就是做多特征基元的融合，在做线、面特征提取时，这是很工程化而且很依赖技巧，目前没有特别好的方法能够把线面的特征做到特别的通用、鲁棒。

在另外一个层面，当我们进行参数化或者数据关联时，如果使用很差的原始输入，会产生很多误差和干扰。除此之外，图像特征和激光特征如何进行提取？几何特征之间如何实现紧耦合，这都是进行多源耦合会面临的问题。

第四个问题就是怎么将语义信息融合到传统或者经典SLAM框架里，甚至能够像人一样地对语义进行认知。此外如何应用和集成图像语义和激光