点击上方“计算机视觉life”,选择“星标”
快速获得最新干货
全国SLAM技术论坛由中国图象图形学学会主办,每年举办一届,邀请学术界和企业届的专家围绕SLAM技术的研究、发展以及产业化应用作技术分享。本文整理自浙江大学刘勇教授在第二届全国SLAM技术论坛中的报告。
刘勇,浙江大学智能系统与控制研究所教授,浙江大学求是青年学者,浙江省“新世纪151人才工程”第二层次培养人员,担任浙江省机器换人专家组专家。承担NSFC-浙江两化融合联合基金、国家自然科学基金青年和面上项目、科技部863重点项目子课题、浙江省杰出青年基金、工信部重大专项等国家级省部级项目多项。获得浙江省自然科学奖2017(一等奖),科学进步奖2013(一等奖)。主要研究方向包括:智能机器人系统、机器人感知与视觉、深度学习、大数据分析,多传感器融合等。
多源融合SLAM-现状与挑战
SLAM的定义比较经典,它的核心就是一个状态估计问题,根据传感器观测到的数据以及一些实际的模型,如何对这两者进行结合来准确估计实际情况。这个问题虽然在数学模型上比较简单,但是在实际过程中会面临很多的挑战以及不如意的实际现象。
首先的一个挑战就是landmark在实际应用中的复杂性(由于环境的复杂性引起);其次,由于sensor的不同,也会存在一些其他的问题。具体来讲,在纹理少、四季天气变化、光照剧烈变化、车载条件IMU退化、长走廊、机器人剧烈运动等情况下,原来很好用的SLAM方法在这些情况下往往会无用。这都是很棘手的场景,这些场景会给我们带来实际应用中的困惑,采用单一的传感器会面临这个问题,所以多源融合这个领域很热门,被产业界所认可。
![1f3b0146bc16ecf326ec09ff07035566.png](https://i-blog.csdnimg.cn/blog_migrate/70cc9da5f35e39a076327d1b3f42025f.jpeg)
针对上述问题,我们使用多源融合的方法去克服复杂的场景,这些融合方法可以大致归结为三个类别:多传感器、多特征基元以及几何语义融合。
![9a4dd0f6a1677231b780f1296cd95022.png](https://i-blog.csdnimg.cn/blog_migrate/6492aa51d1fee37169e5cc962c209b83.jpeg)
从多源融合框架图中可以看出,多源融合中第一个层面是多传感器的融合,比如激光或GPS。第二个层面是多特征基元的融合,我们可以通过对特征点、线段还有灰度信息这些特征进行提取,从而得到多个特征基元。使用激光之后还能够得到三维点云的线特征、面特征以及正态分布特征,这些都是我们做SLAM时经常会使用的特征。对相机和激光进行融合可以得到两个通道的信息,即图像和点云。现在的很多工作会将图像和点云信息直接输入到神经网络,这从某种层面上来说能够帮助我们提取语义信息。然后加上点云和图像的语义信息,就能够把几何和语义融合起来,这是对多源融合的宏观概括。
在进行融合之后我们会面临一些问题。
第一个问题就是多传感器融合之后,传感器间数据如何同步?外参关系如何标定?这些都是绕不开的问题。
第二个问题是在引入大量传感器之后,数据处理非常耗时,这与我们希望实现轻量级、快速响应且紧凑的SLAM系统相矛盾。而且传感器根据原理的不同,有些观测相互耦合,信息有一定的冗余,所以如何实现多个传感器之间的有效耦合也是我们面临的一个挑战。
第三个问题就是做多特征基元的融合,在做线、面特征提取时,这是很工程化而且很依赖技巧,目前没有特别好的方法能够把线面的特征做到特别的通用、鲁棒。在另外一个层面,当我们进行参数化或者数据关联时,如果使用很差的原始输入,会产生很多误差和干扰。除此之外,图像特征和激光特征如何进行提取?几何特征之间如何实现紧耦合,这都是进行多源耦合会面临的问题。
第四个问题就是怎么将语义信息融合到传统或者经典