SG-SLAM: A Real-Time RGB-D Visual SLAM Toward Dynamic Scenes With Semantic and Geometric Information

[2023]SG-SLAM: A Real-Time RGB-D Visual SLAM Toward Dynamic Scenes With Semantic and Geometric Information

1.作者

Shuhong Cheng , Changhe Sun , Shijun Zhang , Student Member, IEEE, and Dianfan Zhang

2.时间

2023

3.框架

解决的问题：

• 现在以视觉为主的经典SLAM系统在某些场景仍然无法满足鲁棒性和对环境的高级理解的要求
  • 基于静止场景的假设，使得系统在真实的动态场景中鲁棒性和精度都大大降低
  • 构建的地图仅仅是全局一致性的度量地图，不能帮助机器人更好的理解它自身周围的环境
• 目前大多数方法结合了语义和几何信息，但是很大程度上依赖于语义信息，而较小程度上依赖于几何信息
  • 无法处理先验目标外的动态特征

贡献：

• 基于RGB-D的视觉SLAM系统，该系统实时，相对于ORB_SLAM2在动态场景下具有较高的精度和鲁棒性，能够通过ROS输出语义地图
• 结合语义信息和几何信息的快速动态特征排除算法
  • 几何信息：极线约束
  • 语义信息：通过基于NCNN的目标检测网络获得

框架：

• 相对于ORB_SLAM2添加了两个线程：

  • 目标检测线程：使用神经网络来获得二维语义信息。然后这种二维语义信息为动态特征排除提供先验信息
  • 语义地图线程 ：结合关键帧的二维语义信息和三维点云信息，生成三维语义对象数据库。通过将 3-D 点云、3-D 语义对象和相机姿势发布到 ROS 系统来获得一个语义地图。

• 基本流程：

  • 将RGB-D图像输入给tracking线程与目标检测线程，目标检测线程通过RGB图像进行目标识别，同时，tracking线程对输入图像进行ORB特征提取
  • 提取完毕后，使用LK光流对当前帧与前一帧进行特征匹配，然后使用基于RANSAC的七点法估计F矩阵
  • 当基础矩阵F计算完后，tracking线程需要等待目标检测线程的结果
  • tracking线程结合极线约束和2D语义信息排除动态点，用剩余的静态点估计相机的位姿
  • 产生新的关键，输出给local mapping线程与闭环线程，与ORB_SLAM2相同
  • 将关键帧的深度图像给到语义地图线程，生成3D点云，然后结合2D语义信息生成3d语义目标数据库

4.方法

目标检测

• 由于资源的限制，NCNN是在纯c++中实现的，没有第三方依赖关系，可以很容易地集成到SLAM系统中
• 为了尽可能地提高目标检测速度，选择single-shot multibox检测器SSD作为检测头。此外，我们使用MobileNetV3作为SSDLite骨干特征提取器的drop-in替换。最后，该网络使用PASCAL VOC 2007数据集进行训练

极线约束

动态点判断方法：计算当前帧的特征点与其对应的极线之间的距离。距离越大，特征点的动态越有可能

SG-SLAM使用LK光流法计算特征匹配，然后去除位于图像边缘的匹配点对，以及差异过大的，减少错误的匹配，采用基于RANSAC的七点法计算两帧之间的基本矩阵。一般来说，与整个图像相比，动态区域的比例相对较小。因此，RANSAC算法可以有效地减少动态区域错误数据关联的不利影响。
$$d_i=\frac{P_i^{T}F{P}_1}{\sqrt{X^2+Y^2}}<\epsilon ，static$$

动态特征排除策略

• 问题：
  • 几何信息方法通过将距离 d 与经验阈值 ε 进行比较来判断特征是否是动态的，但是阈值难设定，太小或者太大都不好，这是因为几何方法无法理解语义级别的场景，只能通过固定的阈值机械地处理所有特征点
• 解决办法：
  • 根据先验信息通过目标检测检测所有的目标并将其分为动态目标或者静态目标，然后每个动态目标赋予不同的权重，例如人为高动态的，权重为5；椅子为低动态的，权重为2，然后权重与距离的乘积小于阈值
    

语义地图

仅用关键帧构建语义地图，当一个新的关键帧到达时，语义地图线程立即使用它的深度图像和姿态来生成三维点云。

5.实验

TUM RGB-D 数据集上的性能评估

Bonn RGB-D 数据集上的性能评估

动态特征拒绝策略的有效性

时序分析

语义地图