[论文阅读]DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes

Ieee Robotics and Automation Letters 2018 文章链接 源代码

1 速读

1.1 论文试图解决什么问题？这是否是一个新的问题？

所有的动态SLAM都在寻找动态环境下的SLAM如何设计，是个较新的问题。
本文作者试图解决：
①检测并剔除场景中的动态物体，消除其影响；
②还原被动态物体遮挡的场景部分；

1.2 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

实验比较用到：Depth Edge SLAM, Motion Segmentation DSLAM, Motion Removal DVO-SLAM;

1.3 文章的贡献是什么？

①一个基于Mask-RCNN网络+运动几何检测+ORBSLAM框架的动态SLAM系统，能够很好的应对静态和动态的场景，并获得静态的可复用地图；
②RGBD情况下能过获得每一帧中动态信息被剔除后被遮挡的静态部分补上的图片（鸡肋）；

1.4 文章解决方案的关键是什么？

作者的思路本质上是尽量找到画面中的动态部分，不使用里面提取的特征，神经网络的结果不够用，用几何方法补充

1.5 实验如何设计？实验结果足够论证其效果吗？

在两个数据集做比较，对每组数据运行10次以避免动态环境带来的不确定性（合理）
TUM室内：误差选用trajectory RMSE；
①对单神经网络，单几何检验，神经网络+几何检验，神经网络+几何检验+背景绘制（作者说替换掉动态部分不就符合静态假设了嘛）都做了实验比较结果，结果为神经网络和几何检验的方法都有效果，背景绘制会降低精读（作者称背景绘制很依赖位姿精度）
②和ORBSLAM作比较，微弱动态场景效果变差（因为很多画面被剔除），动态要素变高的场景效果好；
🌂和现有的动态RGBD SLAM做比较，效果更好；
④单目情况下和ORBSLAM做比较，初始化更快，但效果更差（作者称因为运行时间更久，有累计误差）

KITTI室外：误差选用trajectory RMSE+平均相对translation and rotation errors；
⑤单目情况下和ORBSLAM做比较，效果55开，回环和重定位更准确

⑥各部分花费的时间实验，衡量系统的实时性（无法实时，主要时间花在背景绘制）

1.6 数据集是什么？

使用两个数据集：TUM RGB-D 和 KITTI

1.7 还会存在什么问题

①神经网络的盲目使用，只要是会动的物体就剔除，使得在微弱场景下效果反而更差；
②语义类别的有限性无法应对所有动态元素；
🌂当动态物体占据画面大部分时无法track；

2 主要内容

2.1 系统框架

①图片首先经过Mask R-CNN处理得到语义分割结果；
②然后先经过一个轻量的Track得到一个粗糙位姿，并用于Multi-view Geometry计算动态成分；
🌂结合网络和几何的动态过滤结果后进行SLAM运行；
④将Map投影到当前帧填补被挖去的动态部分；

2.2 网络分割

2.3 轻量Track

本质上就是ORBSLAM的tracking中的LocalTrack()之前的初始位姿计算

2.4 多视角几何

对于每一帧，寻找至多5个高度重叠的关键帧，寻找投影关系。
两个条件：
①视差角在一定范围内（<30°），即两帧之间观测方位差别不大，不太会因为运动导致空间点被遮挡；
②将投影的depth和当前观测的depth（来自深度测量）比较，差别过大的是动态点；

计算得到动态点后，根据深度图和标记的动态点位置做区域增长，找到动态物体的位置，结果类似

得到网络和几何方法的语义信息后，将两者融合在一起：
①两个方法都检测到的动态物体，相信几何方法；
②只有网络方法检测到的动态物体，选择网络方法的结果；
最终效果如下，从左到右为：使用几何、使用网络、两者综合的结果

2.5 背景绘制

不关心的功能