SuMa++: LiDAR-based Semantic SLAM

主要内容

基于语义的3D LiDAR SLAM。利用每帧点云中逐点的语义标号，建立全局语义地图。特别地，主要创新点在于利用语义信息滤除动态物体并改变ICP的残差权重，从而提高定位和建图的精度及地图的整洁性（去除了动态残影）。

主要贡献

• 单帧点云逐点的精修语义标号
• 通过检查当前帧观测点的语义标号和地图中关联面元的语义标号的一致性，滤除地图中的动态面元
• 未通过上述一致性的关联，在点面ICP中减少该残差的权重。

X. Chen, A. Milioto, E. Palazzolo, P. Giguere, J. Behley, C. Stachniss. SuMa++: Efficient LiDAR-based Semantic SLAM. IEEE/RSJ International Conference on Intelligent Robots and Systems, 2019.

摘要

可靠和准确的定位和建图对于大多数自动系统非常关键。除了建图环境的几何信息，语义扮演着重要的角色来使得智能导航行为变得可能。在大多数实际环境中，这项任务非常复杂，由于运动物体导致的动态性，可能破坏建图步骤或者破坏定位。Chen等人提出了一种最近发表的基于面元建图方法的拓展，利用三维激光结合语义信息来提高建图过程。语义信息通过一个全卷积网络高效提取，并且进行球形投影。这个语义分割能够计算整个扫描帧具有点标号的结果，允许作者建立面元标号的语义地图。这个语义地图允许可靠地去除动态物体，同时通过语义约束提高投影扫描匹配。我们在KITTI数据集中具有挑战性的具有很少静态结构的高速公路序列上的实验评估展示了语义SLAM方法的优势，与纯几何，SOTA方法相比。

1. 介绍

位置环境中准确的定位和可靠的建图对于大多数自动驾驶来说是基本任务。这种系统一般在高度动态的环境中操作，其使得一致地图的生成变得很困难。此外，关于建图区域的语义信息是需要的为了完成智能导航行为。例如，一个自动驾驶汽车必须能够可靠地寻找一个位置来停车，或者停泊在一个乘客能够安全出去的地方——甚至之前没有看到过的地点，因此之前没有准确的地图。

在本工作中，我们提出了一种新的SLAM方法能够生成这种语义地图通过使用3D激光扫描仪。我们的方法利用一个流行 LiDAR SLAM框架[2]，并组合了一个来自全卷积神经网络（FCN）[21]生成的语义分割的语义信息。这允许我们生成高质量语义地图，同时提高地图的几何和里程计的质量。

FCN对激光帧的每个点提供一个类别编号。我们执行点云的高效处理通过使用一个球面投影。在二维球面投影中的分类结果然后被反投影到3D点云中。但是，反投影引入了虚假信息，我们通过腐蚀和基于深度的语义标签的种子填充的两步骤过程来减少该虚假信息。该语义标号然后被整合到基于面元的地图表示中，并被用于更好地配准新的观测到已经构建好的地图中。我们进一步利用语义来滤除动态物体通过在更新地图时检测新观测和世界模型的语义一致性。这样，我们减少了整合动态物体到地图中的风险。图1展示了一个我们语义地图表示的例子。该语义编号被生成通过Milioto等人的FCN[21]，其被训练使用Behley等人的SemanticKITTI数据集[1]。

图1. 只使用LiDAR扫描使用我们的方法生成的KITTI数据集的语义地图。地图使用面元表示，对应颜色表示一个类别标号。总之，我们的语义SLAM流程能够提供高质量的语义地图，与非语义地图相比，具有更高的度量准确性。

本文的主要贡献是一种整合语义到基于面元的地图表示的方法以及一种利用语义标号滤除动态物体的方法。总之，我们生成我们能够（i）准确地建图环境特别是环境中存在大量运动物体时（ii）在一般的环境中，包括市区，城镇和高速场景，达到更好的表现与只简单移除可能运动的物体的建图系统相比。我们实验性的验证了我们的方法在KITTI具有挑战性的数据上[11]，并且展示了我们语义面元建图方法的优越表现，称为SuMa++，与纯几何面元建图和基于类别标号移除潜在运动的物体进行了比较。源代码：https://github.com/PRBonn/semantic_suma/。

2. 相关工作

里程计估计和SLAM是经典的话题在机器人领域，具有大量研究工作，被几个综述文章所概括[6][7][28]。这里，我们主要关注基于学习和动态场景的语义SLAM的相关工作。

受深度学习和卷积神经网络对于场景理解方面进步的启发，已经有大量利用相机[5][31]，相机+IMU[4]，双目相机[10][15][18][33][38]或者RGB-D传感器[3][19][20[26][30][39]的语义SLAM技术出现。大多数方法被用于室内并使用目标检测器或者相机图片的语义分割。相反地，我们只利用激光范围数据，并利用从LiDAR帧生成的深度图片中得到的语义分割的信息。

存在大量文献解决定位和建图在具有挑战性的环境中，例如通过滤除动态物体[14]，在匹配中考虑残差[22]，或者利用序列信息[34]。为了达到室外大尺度语义SLAM，我们能够组合3D LiDAR传感器和RGB相机。Yan等人[37]关联2D图片和3D点来提高分割用于检测运动物体。Wang和Kim[35]使用来自KITTI数据集[11]的图片和3D点云来联合估计道路结构并语义地分割市区场景通过应用相对位置先验。Jeong等人[12][13]也提出一种基于多模态传感器的语义3D建图系统来提高相对交并比（IoU）度量下的分割结果，在大尺度环境以及具有很少特征的环境中。Liang等人[17]提出一种新的3D物体检测器，能够同时利用LiDAR和相机数据来执行准确的物体定位。所有这些方法专注于组合3D LiDAR和相机来提高物体检测，语义分割或者3D重建。

最近Parkison等人的工作[23]发展一种点云配准方法通过直接组合基于图片的语义信息到两个点云的相对变换估计中。接下来Zaganid