动态场景下基于实例分割的SLAM（毕业设计动态SLAM论文学习部分）

最新推荐文章于 2024-09-27 14:49:51 发布

逆水独流

最新推荐文章于 2024-09-27 14:49:51 发布

阅读量5.8k

点赞数 21

分类专栏： SLAM 文章标签： slam 图像识别深度学习

本文链接：https://blog.csdn.net/ns2942826077/article/details/103961937

版权

2020.01.13
回家拜访亲戚加上陪几位老人耽误了点时间，不过我真的没想到居然有人会看我这个渣渣的更新。

动态场景下的slam：

DS-SLAM A Semantic Visual SLAM towards dynamic environments ，代码开源，利用帧间图像的光流跟踪，进行一致性检验。
DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes ，代码开源，利用Mask RCNN去除动态
Improving RGB-D SLAM in dynamic environments: A motion removal approach，基于RGB-D system 参考学习。

先这3个吧。

补充：

Multi-object Monocular SLAM for Dynamic Environments
Dynamic SLAM The Need For Speed

DynaSLAM论文阅读笔记

在简介部分，作者说他在单目和双目部分是使用一个CNN框架做一个像素级的语义分割，不在提供的先验动态物体范围内提取特征，而RGB-D则尝试利用多视角几何学和深度学习方法直接推测出任意动态物体并分割，移除动态和遮挡。原文如下：

In the monocular and stereo cases our proposal is to use a CNN to pixel-wise segment the a priori dynamic objects in the frames (e.g., people and cars), so that the SLAM algorithm does not extract features on them. In the RGB-D case we propose to combine multi-view geometry models and deep-learning-based algorithms for detecting dynamic objects and, after having removed them from the images, inpaint the occluded background with the correct information of the scene (Fig. 1).

动态场景SLAM相关工作（参考博客）：

1、几何角度：

a、使用光流法估计基础矩阵，进行极线距离阈值判断筛选出动态点；

b、使用深度数据，将关联帧的点投影到当前帧，进行深度判别；

c、基于特征点之间相连边的距离变化信息进行判断

2、深度学习：

a、使用深度学习模型学习光流

b、深度学习产生对象mask

DynaSLAM相比较前面的工作，解决了两个问题：第一，解决了语义分割剔除动态特征时，语义掩码不准确的问题（原文：先验动态物体处于静止状态时常常被牺牲掉，@_YAO阿瑶，感谢指正，这部分DynaSLAM并没有解决）；第二，解决了基于几何方法下剔除动态场景时，容易忽略小物体和初始化困难的情况。这个问题的解决主要集中在RGB-D上，利用几何和深度联合的方法，而单目和立体视觉相对就比较简单，整体框架图如下：

DynaSLAM
作者认为，几何方法的问题在于the main problem is that initialization is not trivial ，这里我的理解是对于小物体由于几何本身的特性而无法被检测出来（有待验证）；学习的问题在于动态物体是先验的，而静态物体移动无法检测。可以从论文中的图4看出，两者结合完美的对动态物体进行更好的检测。但是它是如何将几何法与深度学习结果融合的呢？作者是这么解释的：

if an object has been detected with both approaches, the segmentation mask should be that of the geometrical method. If an object has only been detected by the learning based method, the segmentation mask should contain this information too.

即，如果两种方法都能检测到，更信任几何方法；如果仅有学习方法检测，则直接使用学习方法。

接着是背景修补，但是比较有意思的是最后实验结果表明，在TUM数据集中，有背景修复的DynaSLAM的绝对误差其实比不上没带背景修复的，作者解释道：

the background reconstruction is strongly correlated with the camera poses. Hence, for sequences with purely rotational motion (rpy, halfsphere), the estimated camera poses have a greater error and lead to a non-accurate background reconstruction.

因此作者认为背景修补的意义在于虚拟现实