SLAMANTIC - 利用语义信息来改进在动态环境中的视觉定位与地图构建-CSDN博客

本文链接：https://blog.csdn.net/u013019296/article/details/132727632

文章：SLAMANTIC - Leveraging Semantics to Improve VSLAM in Dynamic Environments

作者：Matthias Schorghuber Daniel Steininger Yohann Cabon Martin Humenberger

编辑：点云PCL

代码：https://github.com/mthz/slamantic.git

欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。

公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。文章未申请原创，侵权或转载联系微信cloudpoint9527。

摘要

本文为了应对了VSLAM在处理非静态环境时面临的挑战，提出将通过深度学习方法获取的语义信息纳入传统的几何流程中，具体而言，我们计算了每个地图点的置信度，这个置信度是其语义类别（车辆、人、建筑等）和其随时间的检测一致性的函数。然后将这个置信度应用于指导在地图构建和定位阶段中每个特征点的使用，高置信度的点用于验证低置信度的点，以选择用于位姿计算和地图构建的最终点云。此外我们可以处理地图点的状态可能在静态和动态之间变化的情况（例如，汽车可以停放或在行驶中）。通过在公开数据集上评估我们的方法，作者展示了它可以成功解决动态环境中的具有挑战性的情况，这些情况会导致最先进的基线VSLAM算法失败，并且它在静态场景上保持了性能。代码已开源在：https://github.com/mthz/slamantic.git。

图1. 动态环境中引发VSLAM挑战的一个场景：汽车的前摄像头正在接近一辆停在十字路口的卡车（左图）。当卡车逐渐开始移动时，基线VSLAM（中图）失败，因为它错误地估计了向后运动。使用语义信息结合提出的方法（右图）能够应对这种情况。

主要贡献

本文提出了一种新颖的方法，将语义信息集成到基于几何特征的VSLAM方法中，而无需运动检测，将语义类别标签分配与地图点观测的一致性相结合，以估计每个3D点的可靠性度量，并在位姿估计和地图优化步骤中利用它。此外，我们的方法能够处理复杂的场景情况，如汽车，并不需要为每个单独的帧提供语义标签。我们在公共数据集中选择了代表性的困难场景来评估我们的方法，展示出我们的方法能够应对动态环境和特别具有挑战性的情况，这些情况无法被当前最先进的方法处理，同时在主要为静态环境的情况下保持性能。我们在ORB-SLAM2的基础上实现了我们的方法，并开源了代码。

内容概述

本文的目标是提高基于特征的单目或立体VSLAM在动态环境中的性能，在基于特征的VSLAM中，世界被表示为一个图，由帧和3D点构成，它们作为节点，它们的观测作为边。通过最小化观测的投影误差来优化这个图。在出现由动态元素引起的错误对应或场景结构变化的情况下，投影误差会增加。如果误差超过某个阈值，3D点将被标记为异常值，因此被移除。更确切地说，一个核心假设是一个3D点通过优化和隐式几何验证过程的次数越多，它可靠的概率就越高。因此，对这一假设的违反太多很可能导致VSLAM失败。本文提出的方法通过为每个3D点引入一个置信度度量df ∈ R[0, 1]来解决这个问题，该度量反映了场景中动态因素引起的不确定性，我们称之为动态因子。在位姿估计过程中，将使用它来区分静态点和潜在的动态点，以及它们的语义类别分配。如上所述，同一个3D点随时间的观测次数是衡量点可靠性的强有力的指标。我们提出了不仅仅计算观测次数，还建议使用它们来调整3D点的置信度，以便根据相关的语义类别来确定3D点是否为静态。直观地说，像道路或建筑这样的类别被认为更可能是静态的，并且需要较少的观测，而来自人类或汽车等复杂类别的3D点被认为是混合的。以下是作者提出的SLAMANTIC方法相关的关键概念和步骤：

Observation Term（观测项）：

在VSLAM中，观测项通常是指从摄像头获取的图像特征点与3D地图点之间的关联。这些关联通常用于计算相机的姿态和地图点的位置。观测项的准确性对于SLAM的性能至关重要。
在SLAMANTIC中，Observation Term是指通过观测的2D图像特征点与3D地图点之间的几何关系。这个术语表示了传统SLAM中的观测项。

Semantic Term（语义项）

语义项是指语义信息在SLAM中的应用。在SLAMANTIC中，它指的是基于深度学习方法获得的语义信息。这可以包括对场景中物体的语义分类，如汽车、行人、建筑等。
Semantic Term用于考虑语义信息对地图点可靠性的影响。具体来说，作者通过计算每个地图点的"可靠性度量"，该度量与其语义类别以及随时间的检测一致性相关。这有助于区分哪些地图点是静态的，哪些可能是动态的，并在地图构建和姿态估计中引导其使用。

图2. 动态因子（df）计算示例

3D-Points Grouping（3D地图点分组）

在VSLAM中，3D地图点通常以不同的组织方式存储和管理，以便于姿态估计和地图构建。
在SLAMANTIC中，3D-Points Grouping表示将地图点根据其动态性质进行分组。这些组别通常包括"静态"（static）和"动态"（dynamic）两类，有时还可能包括"静态-动态"（static-dynamic）类别，用于处理在任务中状态可能从静态到动态变化的地图点。

这三组用于在VSLAM跟踪阶段执行的姿势估计，如图3所示。