SLAM论文速递【SLAM—— WF-SLAM:基于加权特征的动态场景鲁棒VSLAM】—4.12（4）

论文信息

题目：

WF-SLAM:A Robust VSLAM for Dynamic Scenarios via Weighted Features
WF-SLAM:基于加权特征的动态场景鲁棒VSLAM

论文地址：

https://ieeexplore.ieee.org/abstract/document/9761254

发表期刊：

IEEE Sensors Journal ( Volume: 22, Issue: 11, 01 June 2022)

标签

改进ORBslam2、几何法+语义法动态目标点去除

摘要

在许多视觉同时定位与地图创建(VSLAM)系统中，静态环境假设是典型的。然而，开放场景中的动态物体会误导特征关联甚至无法匹配，降低定位精度。针对动态场景，基于ORB-SLAM2，提出了一种利用加权特征的鲁棒视觉SLAM系统(WF-SLAM)。首先，WF-SLAM采用紧耦合语义和几何动态目标检测算法获取场景中的动态信息;然后，WF-SLAM定义特征点权重并利用动态信息对特征点权重进行初始化;最后，将ORB-SLAM2中的位姿优化改为基于权值的联合优化。WF-SLAM显著降低了误匹配，提高了定位精度。在基准RGB-D数据集TUM和真实场景上进行实验，结果表明，WF-SLAM在动态环境下较ORB-SLAM2实现了显著的定位精度提升，与最新的动态SLAM方法相比具有更强的鲁棒性。

内容简介

动态对象大致可以分为移动对象和可移动对象。语义分割利用图像信息对目标进行分割并生成类别标签，类别标签表明目标成为可移动目标的可能性。几何方法在粗略估计相机位姿的基础上，通过计算相邻图像之间的几何关系来判断特征点的运动状态，从而检测运动目标。然而，场景中潜在的动态特征点会导致姿态估计不准确，导致分割精度不够。考虑到语义标签可以为特征点选择提供先验信息，文中将语义和极线约束[11]紧耦合用于动态目标检测。为了合理地处理每个动态目标，首先整合语义信息，判断是否需要动态点处理策略;如果是，则对语义上的动态目标和静态目标采取不同的处理策略。我们的贡献可以总结如下:

设计并实现了一个动态目标检测框架，结合了极线约束[11]和语义分割的优势。将语义和几何信息紧密耦合，将语义分割结果嵌入到几何分割的计算过程中，实现动态目标的精确检测。•我们将检测算法集成到ORB SLAM2系统中，以改进跟踪线程。根据检测结果，为语义静态和语义动态特征点分配不同的权重，并对姿态和权重进行联合优化，极大地提高了动态场景下定位的准确性和鲁棒性。•在公共RGB-D数据集TUM和真实场景下进行定量和定性实验。与ORB-SLAM2相比，WF-SLAM在动态场景下的定位精度有了很大的提升，同时WF-SLAM比目前最先进的动态SLAM算法具有更强的鲁棒性。

动态目标检测利用语义分割和紧耦合范式的极线约束[11]，将RGB图像作为输入，进行语义分割以获得作为先验信息的语义掩码，并将极几何中的极线约束[11]应用于极几何以生成类似语义分割的几何掩码。最后，结合语义掩码和几何掩码确定动态目标。特征提取后，跟踪线程首先根据语义掩码判断是否需要动态目标处理策略。如果需要这种策略，则选择特征点，并根据语义掩码和几何掩码为保留的特征点分配权重。最后，在位姿优化阶段，将原始SLAM系统的无差别优化替换为特征点权重和相机位姿估计的联合优化。局部建图和回路检测线程保持与原SLAM系统相同。局部映射处理关键帧和管理映射，循环检测采用词袋模型检测循环，消除姿态估计[7]的累积漂移。

对于输入的图像序列，WF-SLAM首先采用在MS COCO[27]数据集上训练的Mask R-CNN[13]进行语义分割以生成语义掩码;基于Faster-RCNN[28]和FCN[29]改进Mask R-CNN的网络结构。Faster-RCNN使用区域建议网络(RPN)生成高质量的感兴趣区域(ROI)，然后使用RoIPooL从每个候选ROI中提取图像特征。最后，进行分类和边界框回归。FCN是一种通过卷积和反卷积实现精确语义分割的端到端网络。Mask R-CNN为每个ROI添加了一个分割掩码预测分支，以扩展Faster-RCNN网络。这个新分支与原始的分类分支和边界框回归分支平行。掩码分支本质上是一个用于像素级掩码预测[13]的小型FCN网络。

评价

提出了一种基于特征加权的视觉SLAM系统。增加基于ORB-SLAM2的动态目标检测模块，并根据检测结果改进跟踪线程。动态目标检测结合了语义分割和几何运动分割的优点，采用紧耦合范式实现精确检测。跟踪部分利用检测结果初始化特征点权重，并联合优化特征点和位姿的权重，以提高动态环境下SLAM系统的定位精度和鲁棒性。在TUM数据集上的定性和定量实验表明，WF-SLAM能够准确识别动态目标。与其他动态SLAM系统相比，整体定位精度也具有竞争力。WF-SLAM系统未来的研究工作可以归纳为3个方面。首先，WF-SLAM比ORB SLAM2的运行时间更长，因此需要进一步改进。其次，可以考虑多帧来提供更鲁棒的动态特征点检测。最后，动态对象的信息在人机交互、轨迹预测和决策规划等高层应用中非常有用。优化后的WF-SLAM系统特征点权重可进一步用于高层应用。

开源代码

https://github.com/NancyHu3245/WF-SLAM.