SA-LOAM:具有语义辅助的回环检测LOAM系统-CSDN博客

本文链接：https://blog.csdn.net/u013019296/article/details/119013410

文章：SA-LOAM: Semantic-aided LiDAR SLAM with Loop Closure

作者：Lin Li1 , Xin Kong1 , Xiangrui Zhao1 , Wanlong Li2 , Feng Wen2 , Hongbo Zhang2 and Yong Liu

编译：点云PCL

代码：暂未开源（有希望开源）

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

基于激光雷达的SLAM系统是一种更精确和稳定的系统，但其闭环检测仍然是一个悬而未决的问题。随着点云三维语义分割技术的发展，可以方便、鲁邦地获取点云的语义信息，是实现高水平智能化的关键，有利于SLAM的实现。在这篇文章中，作者提出了一种新的基于LOAM的语义辅助lidar-slam，称为SA-LOAM，它充分利用里程计和回环检测中的语义信息，具体来说，提出了一个语义辅助的ICP方案，包括语义匹配、下采样和平面约束，并在回环检测模块中集成了基于语义图的位置识别方法，借助于语义信息，可以提高定位精度，有效地进行闭环检测，甚至在大规模场景中也可以构造一个全局一致的语义地图。在KITTI和Ford校园数据集上的大量实验表明，该系统显著提高了LOAM性能，对未知数据具有泛化能力，取得了与现有方法相比较有竞争力的结果。

图1：语义辅助LOAM在KITTI数据集01上构建的语义图，不同的颜色代表不同的语义信息，放大的点是图的节点。上图给出了一个基于语义图的回环检测实例。

介绍

论文的回环检测模块是基于之前的工作，它将3D场景转换为语义图，并通过图匹配深度学习网络获得场景相似度，我们将其与回环候选生成、几何验证相结合，并维护一个轻量级的语义图，以实现高效、稳定的回环闭合检测。图1展示了结果。我们的贡献如下：

•提出了一个完整的基于LiDAR的语义SLAM系统，即使在大规模场景中也能构建一个全局一致的语义地图。

•提出了一种基于LOAM的语义辅助ICP方法，充分利用了语义信息，提高了里程计的精度。

•在系统中集成了一种基于语义的回环检测方法，并维护了一个图形地图，以便有效地进行回环检测并消除累积的错误。

•在KITTI和Ford Campus数据集上的实验表明，与最先进的方法相比，该系统实现了具有竞争力的性能。

主要内容

A.系统概述

在这一部分，我们对所提出的语义信息辅助激光雷达SLAM系统进行了全面的介绍。图2是我们的方法的流程。首先将原始点云P送入现成的语义分割方法中，得到具有逐点类标签的语义点云S、 L是语义范畴的个数，然后语义点云S被发送到里程估计模块以提取平坦的平面特征和梯度明显的边缘特征，这些特征随后被用于通过与局部地图配准的方法来估计里程信息，同时，将语义点云S转换为语义图表示为G，并进一步输入到回环检测模块，当检测到一个闭环时，我们将更新姿态图并优化姿态，因此可以逐步提高全局语义地图的质量。

图2 方法的流程图

B 语义信息辅助ICP

LOAM利用边缘和平面特征来配准点云，实现准确快速的建图和定位，我们利用语义信息对该方法进行了扩展，具体改进如下：

•首先，受SE-NDT文章的启发，我们将特征分别按语义标签和配准进行划分，降低了误匹配的概率。

•其次，根据点云的语义标签分别对点云进行降采样，同时为了提高效率，现有的方法大多通过体素网格滤波对点云进行降采样。然而，一些包含有用信息的小对象将不可避免地被过滤掉。我们是基于语义的下采样对不同类型的对象使用不同的采样率，并且可以有效地维护小对象的信息，如图3所示。

•第三，我们利用语义来约束平面拟合，基于地平面应平行于水平面且垂直于建筑表面的假设，可以去除拟合不良的平面。

图3：提出的基于语义信息的下采样后可视化结果。大多数方法采用体素网格下采样，造成小目标的信息丢失，而我们的方法有效地保留了有价值的小目标点

C 基于语义信息的回环检测

回环检测模块主要包括回环候选生成、相似性评分、几何验证和位姿图优化，候选生成部分根据里程计提出潜在的环路候选，相似性评分是基于我们之前的工作，它通过一个图相似性网络快速估计成对语义图的相似性，对遮挡和视点变化具有鲁棒性，然后，利用ICP进行几何验证，排除可能的错误方案，避免灾难性的误报闭环，最后，通过位姿图优化来更新更精确的位姿。

实验

在这一部分，设计了实验来证明：

（1）我们的语义辅助ICP可以有效地提高里程计的精度；（2）我们的基于语义的环路闭合检测模块可以有效地减少累积误差，帮助建立一个全局一致的地图；

（3）我们的系统具有对不可见数据的泛化能力。

为了评估每一个提出方案是如何有助于提高性能，这里分别提出了基于语义信息辅助里程计和通过回环检测闭合进一步优化后的里程信息进行比较，此外，将我们的方法与几种最先进的基于纯激光雷达的SLAM方法进行了比较，如LOAM、FLOAM、SUMA、SUMA++和ISC-LOAM。

为了验证方案泛化能力，在Ford Campus数据集上进行了实验，评估了RTE和ATE。方法中使用的所有模型都是在KITTI上预先训练的，在训练阶段从未见过Ford 的数据。

图5显示Ford数据集的序列01上的相对平移误差。由于所有方法的参数都在KITTI上进行了调整，因此它们在Ford上的性能通常较差。然而，基于SUMA的方法受到的影响更为严重，因为我们发现由于传感器设置的不同，投影图像比KITTI上的投影图像稀疏。在所有方法中，我们的算法相对误差最小。

表IV显示了ATE，我们的循环在两个序列上都优于其他循环，此外，在所有的方法中，只有我们的LOOP成功地纠正了图6所示的LOOP闭包，注意Ford上的语义切分比KITTI上的要差得多，如图7所示，这将不可避免地影响后续的性能，SUMA++和我们的方法使用相同的语义，而我们的方法执行得更一致，受益于语义图表示。

总结

本文提出了一种具有回环检测的语义信息辅助激光雷达SLAM系统，利用语义信息来提高点云配准的精度，并设计了基于语义图的回环检测模块来消除累积误差，在KITTI基准数据集上的评估结果表明，基于语义的ICP能够有效地提高里程计的精度，基于语义的循环闭合检测对于构建大规模场景下的全局一致性地图至关重要，在Ford校园数据集上的实验表明，该方法可以推广到更多的三维场景，达到了最先进的性能。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记