【论文笔记】DP-SLAM：一种动态环境下基于移动概率的SALM系统A visual SLAM with moving probability towards dynamic environments

Central Idea

本文提出了一种新的基于稀疏特征的视觉SLAM算法(DP-SLAM)，该算法基于移动概率传播模型进行动态关键点检测。该概率表示一个关键点位于移动对象上的可能性。该方法结合几何约束和语义分割的结果，在贝叶斯概率估计框架中跟踪动态关键点。
作者将这种方法集成到ORBSLAM2系统的前端，该系统作为预处理阶段过滤出与移动对象相关的关键点。此外，作者还对被检测到的动态物体遮挡的帧背景进行了图像修复，这对虚拟现实和增强现实等应用都是有益的。
所以本篇文章是基于移动概率传播模型的，以ORB-SLAM2为大框架的二次开发之作！

研究背景（针对什么问题开发）

• Simultaneous Localization and Mapping (SLAM) 越来越重要，在各种领域如增强现实和自动驾驶领域都有着重要的应用

• 现有SLAM系统多是基于静态场景展开的，在动态场景下都十分地脆弱。动态对象产生特征点往往会导致匹配错误，进而影响视觉里程计和投影过程

• 现有的检测动态点具有很多方法，例如（1）直接法，但是这只能检测出来移动中的物体；
  （2）使用CNN（Deep convolution Neural Networks，深度卷积神经网络）方法进行检测可以检测出潜在的动态目标，但是因为CNN方法是根据公共数据集和有限类别的对象确定动态点，因此不可避免会产生误判。因此在一般环境下使用CNN工具来获得稳定的语义分割依然具有挑战性

作者的三大贡献

1）提出了一种新的运动去除方法，该方法实时传播每个关键点的运动概率。移动概率传播方法克服了几何约束和语义信息的偏差，提高了视觉SLAM系统的准确性和鲁棒性。

2)在遮挡背景中嵌入静态信息，得到无动态内容的合成RGB帧及其相应的合成深度帧，为虚拟现实应用提供了有利条件。

3)将运动去除方法与ORB-SLAM2系统相结合。使用广泛使用的TUM RGB-D基准数据集进行评估和方法比较。实验结果表明，该方法可以大大提高ORB-SLAM2系统的鲁棒性和准确性。

相关工作

1.孙勇(Y.Sun)等人提出了一种新的基于RGB-D数据的在线运动去除方法。它们从重新投影误差中识别移动前景像素，并构建前景模型。在推理过程中，它们以像素为单位将当前RGB-D帧与模型进行比较，以分割前景。该方法假设平面是静态对象，并且每个序列都必须建立自己的移动前景模型。

2.S.Li和D.Lee提出了一种基于实时深度边缘的RGB-D SLAM运动去除系统。该方法对关键帧中的边缘点采用静态加权方法，该方法测量可能成为静态区域一部分的每个点的可能性。将所提出的静态权重加入到强度辅助迭代最近点(IAICP)方法中，实现配准分配。这些方法都是基于大多数区域是静态的假设。但是，当移动对象覆盖相机视野的主要部分时，无法完全消除动态关键点。

这两种方法的问题是：假设大多数区域是静态的，无法对移动对象占据大部分视野时的情况有效处理。

深度学习技术的发展使得一些人采用CNN技术对潜在的移动对象进行语义分割。如：

3.L.Xiao等人使用中的SSD进行运动移除

4.B. Bescos使用Mask R-CNN进行动态目标检测

5.C.Yu等人利用SegNet进行移动目标检测

这些利用CNN继续移动目标检测的方法存在的问题是：使用这些CNN模型进行语义分割，跟踪线索的关键点数量趋于减少，这对摄像机姿态估计的准确性有负面影响。此外，CNN无法检测到一些运动物体，因为它们不属于某些类别。此外，语义切分的结果很可能是不正确的。分割的边界上有一些静态点，这些静态点可以确定为动态的。

本文的工作与系统描述

概述：
本文方法作为预处理阶段，过滤出与移动对象相关联的数据，从而可以减少SLAM前端中的错误数据关联。我们的方法结合了几何模型和语义分割来去除运动。将几何模型和语义分割的结果转换为观测概率。将前一帧关键点的移动概率作为先验概率。基于贝叶斯定理，每个关键点的移动概率可以根据观测概率和先验概率进行更新。然后剔除移动概率较高(大于0.5)的关键点，使得SLAM算法在后续的姿态跟踪和映射过程中不会保留关键点。此外，为了提高动态环境下的映射性能，我们通过将识别出的静态点跨多帧合并来嵌入遮挡背景，这将有助于SLAM系统后端的环路闭合和映射算法。

A.语义分割

使用Mask R-CNN进行语义分割，对于容易出现误分类的位于分割边界上的关键点，使用二项式logistic回归模型计算每个关键点的语义分割动态概率。如果这个概率P小于0.75，就认为它是一个静态点。

B.极线几何约束

尽管Maks R-CNN很厉害，但是还存在一些它检测不出来的动态点。这时候就要用极线几何约束来进行移动点的祛除。

极线几何约束祛除动态点的算法流程如下：

C.迭代移动概率更新

传统方法只是祛除某一帧中的动态点，我们的方法考虑了多帧视觉里程计的动态离群点拒绝问题。提出了一种移动概率传播算法，该算法结合了几何模型和基于深度学习的算法来去除图像中的动态目标。基于贝叶斯定理，我们利用过去和现在的信息来评估和消除动态关键点。

将两种方法得到的概率结合到一起：
算法的迭代过程：

背景修复（不必多说）

就是用前面帧的静态信息对当前帧中被动态物体遮挡的部分进行修复，同时这些合成的帧还可以用在SLAM中进行跟踪和定位，就像是SLAM系统工作在静态环境中一样。

实验结果与分析

TUM RGB-D dataset
low-dynamic scenarios & high-dynamic scenarios
四种相机运动和上面一篇（DynaSLAM）说的一样。

使用广泛使用的绝对位姿误差(ATE)和相对位姿误差(RPE)来进行定量评估。RPE包含平移漂移误差和旋转漂移误差。给出了均方根误差(RMSE)、平均误差、中位数误差和标准差(S.D.)。。在实验中。DP-SLAM带来的改进通过使用以下公式来衡量：

三个表显示性能：结果表明，DP-SLAM方法可以减小所有动态序列的绝对轨迹误差（ATE）。

结果表明，DP-SLAM方法DP-SLAM减少了高动态序列上的平移漂移（RPE）。

结果表明，DP-SLAM方法DP-SLAM减小了高动态序列上的旋转漂移。

然后作者用TUM数据集里的行走序列和自己产生的序列进行了测试，证明可以很好地祛除动态点

**结果分析：**与均值和中值相比，均方根误差更能反映SLAM系统的鲁棒性。因此，我们突出显示RMSE值和S.D.值。RMSE值往往会受到较大或意外误差的影响。S.D.值表示SLAM系统的稳定性。根据表1-3，在高动态序列中，RPE的ATE、平移漂移和旋转漂移的平均RMSE改善值分别为95.75%、63.11%、46.29%。这些改进表明，我们的方法极大地提高了ORB-SLAM2系统在高动态场景下的性能。另外，实验结果表明，该方法在xyz序列和半球序列中具有较好的性能，而在rpy和静态序列中的性能相对较差。

性能评估比较

比较结果表明，我们的方法在几乎所有的序列中都可以获得最小的ATE和RPE值，这清楚地表明我们的方法表现出了最好的性能。在所有其他方法中，DynaSLAM在大多数序列中表现出与我们最接近的性能。然而，其余的方法的性能并不令人满意，特别是在摄像机运动速度较快的序列中。原因在于，在这些情况下，来自静止和运动对象的重投影误差没有显著不同。静态关键点可能被错误地标识为可能的动态点。

总结

本文针对动态环境下的RGB-D SLAM问题，提出了一种基于ORB-SLAM2的运动去除方法。将几何模型与语义分割相结合，提出了一种移动概率传播模型，以缓解动、静态关键点的误分类问题，该模型可以集成到可视化SLAM系统中，提高其对动态环境的适应性。针对视觉几何约束和语义引导建模中存在的不确定性，提出了一种概率建模框架，并对其进行了融合。通过引入更多的视觉约束或更强大的CNN进行语义分割，仍然可以提高性能。我们的工作是为基于稀疏特征的视觉SLAM系统设计的。

作者基于稀疏地图进行的开发，，可以在此基础框架上进行稠密地图点的开发工作，同时融合激光。