DynaSLAM 论文笔记

最新推荐文章于 2023-07-09 17:00:23 发布
最新推荐文章于 2023-07-09 17:00:23 发布
阅读量1.2k 收藏 11
点赞数 7
分类专栏： 语义 SLAM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/phy12321/article/details/103530730
版权

DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes

2018.8 visual slam , orb-slam based , dynamic slam, RGBD,srereo,monocula

个人总结

不同于其他动态SLAM的地方在于加入了背景区域填充功能，可以还原动态目标遮挡住的区域。但是还原方法只基于几何约束，应该还有可以做的工作，比如加入CNN。该SLAM系统结合了分割网络、ORB SLAM、区域生长算法等较为耗时的模块，在获得SOTA性能的同时牺牲了速度。我觉得舍掉速度专注于提升精度，也许并不是没有前景，因为未来算力会逐渐提升？就像４G未普及大家都在做图像压缩一样，后来都去做图像超分辨率了。。。

想到一个问题：如果在当前帧填充被遮挡的背景时，使用了上一帧的对应部分的像素，每次填充都会存在误差，那么被填充后的当前帧就是存在误差的，下一帧在做背景填充时要用到当前帧的对应部分，这样的话误差应该会被累积。。。？论文貌似没有提到这个问题，也可能是我哪里想错了。评论区批评指正_

论文思路清晰，读起来真的不会怀疑人生，哈哈

论文介绍

基于ORB slam 的视觉slam系统，可以在单目、双目以及RGBD上运行，增加了动态目标检测和遮挡背景上色功能。

  • 动态目标检测通过双目几何约束或者深度学习（或者二者结合）完成
  • 遮挡背景上色通过建立静态的环境地图完成

论文罗列了动态场景下的现有的方法还没有解决的一些问题：

  1. 如何在图像中检测动态物体使得：
    1. 防止追踪算法在动态目标上进行匹配
    2. 防止建图算法将动态目标作为地图的一部分
  2. 如何将3D地图的被动态目标遮挡的部分还原

论文工作

总体结构：

在这里插入图片描述

红色虚线表示存储的稀疏地图的数据流

  • 若输入数据为双目或者单目RGB（图中的黑色实线表示）

    图像先被CNN进行分割，检测出动态目标的关键点，防止将动态目标的关键点用于追踪或者建图

  • 若输入数据为RGBD（图中的黑色虚线表示）

    使用多视角几何来提升动态目标的分割结果：

    1. 优化CNN得到的分割结果
    2. 把CNN没有检测出的动态目标标记为动态目标

    在已经建好的地图中，通过一个low cost tracking模块定位相机位姿

    动态目标检测和相机定位完成后，则进行当前帧中的遮挡背景的重建。重建后的合成帧可以用于AR，VR，以及lifelong-建图的场景识别

A. Segmentation of Potentially Dynamic Content using a CNN

这一步使用Mask RCNN来对动态目标进行分割，获得像素级别的语义分割和实例标签。论文方法只使用了前者，实例标签很有用，但是暂时没有被用到。

输入是RGB图像，输出是l个同尺寸的mask，l是图像中的动态目标数目

B. Low-Cost Tracking

通过图像的静态部分进行相机追踪，具体实现是ORB-SLAM2中的一个更简单的版本，因此计算量更小。

具体步骤：把地图的特征点投影到图像中，寻找图像中静态部分的对应点，然后最小化重投影误差来优化相机位姿

C. Segmentation of Dynamic Content using Mask R-CNN and Multi-view Geometry

该步骤主要解决的问题：Mask RCNN能够检测出大多数的动态目标，但是无法检测出 不在预定义的类别中，但可以移动的动态目标（比如被人推着走的椅子）

只有在输入数据为RGBD时有此步骤。
在这里插入图片描述

  1. 找到 5帧 与当前帧重合度（距离、旋转）最大的之前的关键帧
  2. 关键帧中关键点x的深度和相机位姿，计算投影到当前帧后的位置x’和深度z’，计算投影深度z_proj
  3. 若Z_proj与z’差别过大，则标记为动态目标

得到所有的动态目标的标记后，在深度图像中的动态像素进行区域生长，来获得所有属于动态目标的像素

效果对比： 在这里插入图片描述

左：背景中的人头没有检测出来

中：人手中的书和椅子没有检测出来

右：全部动态物体都被检测出来了

D. Tracking and Mapping

输入：RGB，深度图，分割mask

对图像静态部分提取ORB特征，由于分割边界位于高梯度值区域，落在分割边界上的ORB特征点不予考虑

E. Background Inpaintin

动态目标被移除后，使用之前观测到的静态信息对区域进行填补

由于知道前一帧和当前帧的位置，因此将所有之前的关键帧（实际使用最后20个）的RGB和深度信息投影到当前帧的动态目标位置中。

  1. 没有对应关系的区域留空
  2. 在关键帧中的对应场景部分迄今尚未出现的区域，则无法修复
  3. 如果已出现，但是没有有效的深度信息。

这些间隙不能用几何方法重建，需要更精细的修补技术。

效果如图：
在这里插入图片描述

实验结果

在TUM和KITTI上进行了测试

A. TUM Dataset

在这里插入图片描述

与ORB-SLAM2做对比
在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

可见加入Motion detection后现有动态SLAM方法性能得到很大提升

B. KITTI Dataset

在这里插入图片描述 在这里插入图片描述

C. Timing Analysis

没有实时， 在这里插入图片描述

还没算maskrcnn，更慢了

结论&下一步工作

通过RGB信息区分移动的目标 和 可移动的目标?

对于可移动但是没有动的目标（停车位的车），其关键点可以被用来追踪相机位姿．但是不应出现在地图中

phy12321
关注
  • 7
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
动态SLAM论文(6) — Dynamic-SLAM: Semantic monocular visual localization and mapping...
几度春风里的博客
07-05 1248
在动态环境中工作时，传统的SLAM框架由于受到动态物体的干扰而表现不佳。为了解决动态环境下SLAM的问题，提出了一种基于深度学习的语义同时定位与地图构建（Dynamic-SLAM）框架。首先，基于卷积神经网络构建了一个结合先验知识的SSD目标检测器，用于在新的检测线程中以语义级别检测动态物体。然后，针对现有SSD目标检测网络的低召回率问题，提出了一种基于相邻帧中速度不变性的漏检补偿算法，大大提高了检测的召回率。
DynaSLAM-6 DynaSLAM论文解读
qq_41694024的博客
02-01 436
DynaSLAM论文解读
【论文笔记】DynaSLAM：动态场景中的跟踪、建图和场景修复 Tracking, Mapping, and Inpainting in Dynamic Scenes
一棵小树的博客
03-24 1173
DynaSLAM: Tracking, Mapping, and Inpainting in Dynamic Scenes Central Idea： 本文提出了一个视觉SLAM系统，它建立在ORB-SLAM2的基础上，增加了运动分割方法，使其在单目、立体和RGB-D摄像机的动态环境中具有鲁棒性。本文中的系统可以精确地跟踪相机位置，并创建一个静态的、因此可重复使用的场景地图。并且，在RGB-D模式下可以使用先前帧中的静态信息修复被动态物体遮挡的部分，使新合成的帧能够在正常ORB-SLAM模式下作为关键帧使用
论文笔记-DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes
SLAM小土堆
11-12 3063
I. INTRODUCTION 在视觉SLAM中，动态物体会带来如下挑战： 1）如何检测图像中的动态物体，从而： a. 防止tracking算法使用动态物体上的匹配点对 b. 防止mapping算法把移动物体加入3D地图中 2）怎么去补全3D地图中那些被移动物体挡住从而缺失了的部分。 DynaSLAM是可以用于单目，双目，RGB-D的动态SLAM系统，相当于是在ORB-SLAM2上加了一个前端的模块，上面的两个挑战，这篇论文都给出了对应的解决办法。 对于单目和双目：使用CNN进行像素分割，把图像中的人和车
DynaSLAM论文笔记
TheRun的博客
11-22 2248
DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes 论文笔记 +++ 这是一种建立在ORB-SLAM2上的视觉SLAM系统，同时增加了动态物体检测和背景修复功能。DynaSLAM在单目、立体、RGB-D传感器下的动态场景中均有鲁棒性。作者通过使用多视几何、深度学习或者两者兼有的方法实现移动物体的检测。并且通过对动态物体遮挡的背景帧进行修复，生成静态场景地图。 主要创新点： 提出了基于ORB-SLAM2的视觉SLAM系统，通过增加运动分割
dynaslam2py
03-06
ORB_SLAM2-Python绑定用于ORB_SLAM2的python包装器，可以在上找到。 它旨在与ORB_SLAM2的基本版本一起使用，并进行了一些最小的API更改，以访问系统输出。 尽管它不依赖于任何python3功能，但它已在ubuntu 14.04和...
DynaSLAM/src/python/
11-07
将源码中一些关于tab与空格混用以及缩进不匹配问题更改
dyna2d_manual.rar_DYNA2*_dyna2d_hold24v
07-14
Dyna2D manual to understand how to use dyna2D
ls-dyna关键字说明
04-06
LS-DYNA关键字说明 LS-DYNA是 Livermore Software Technology（LST）公司开发的一款有限元分析软件，主要用于模拟和分析结构、热、流体、冲击、爆炸等领域的动力学行为。该软件广泛应用于汽车、航空航天、国防、...
dyna气囊模型
01-27
dyna的气囊，里面包含了网格以及约束条件，加载曲线，载荷，能够直接计算并且通过后处理软件进行仿真。
dynaSLAM
zjf2543771964的博客
05-31 1704
参考博客:https://blog.csdn.net/qq_38589460/article/details/86549662 ./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt Examples/RGB-D/TUM3.yaml ../dataset/rgbd_dataset_freiburg3_walking_xyz/ ../dataset/rg...
DynaSLAM代码详解(1) — RGBD模式DynaSLAM运行流程
几度春风里的博客
07-09 1450
随后开始进行图像分割，对分割的结果利用膨胀操作；最后根据不同的参数利用不同的TrackRGBD函数开启跟踪线程，并将跟踪线程输出的结果imRGBOut，imDOut, maskOut 保存到创建的文件路径中。：因为有关于图像分割的操作，因此在设置了图像膨胀的相关参数，后面也创建了相关的的文件路径用于TrackRGB中的输出imRGBOut,imDOut,maskOut。检查和加载相关的配置文件，首先判断传入的参数数是否符合要求，然后进行变量的声明用于存放彩色图像、深度图像的路径，以及对应的时间戳的变量。
动态SLAM论文(8) — DynaSLAM II: Tightly-Coupled Multi-Object Tracking and SLAM
几度春风里的博客
07-07 821
— 在视觉SLAM算法中，假设场景是刚性的是常见的。然而，这限制了它们在真实环境中的适用性。此外，大多数情况，包括自动驾驶、多机器人协作和增强/虚拟现实，都需要明确的周围运动信息来帮助决策和场景理解。本文介绍了一种名为DynaSLAM II的视觉SLAM系统，用于立体和RGB-D配置，并紧密集成了多目标跟踪能力。DynaSLAM II利用实例语义分割和ORB特征来跟踪动态物体。静态场景的结构和动态物体的结构与摄像机和移动主体的轨迹一起在新颖的束调整提议中进行优化。
第一阶段文献总结
ljtx200888的博客
11-03 709
(一）Robust Ego and Object 6-DoF Motion Estimation and Tracking 1、系统功能和亮点 功能：本文提出了一种鲁棒性解决方案，以实现动态多体视觉里程计（相机自运动和视野内物体运动同时tracking）的精确估计和一致跟踪能力。 This paper proposes a robust solution to achieve accurate estimation and consistent track-ability for dynamic mu
DynaSLAM：动态场景中的追踪、建图和修复
衣带渐宽人憔悴
04-18 6349
标题：DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes 作者：Berta Bescos, Jose M. Facil, Javier Civera and Jose Neira 来源：arXiv:1806.05620v2 [cs.CV]，现已被IEEE Robotics and Automation Letters接收 ...
【动态SLAM】经典开源论文（更新中）
Mr Qin的博客
07-08 5328
【动态SLAM】经典开源论文（更新中）0 简介1.DynaSLAM（IROS 2018）2.DS-SLAM（IROS 2018， 清华大学）3.Detect-SLAM（2018 IEEE WCACV， 北京大学）4.VDO-SLAM（arXiv 2020）5.Co-Fusion（ICRA 2017）6.Learning Rigidity in Dynamic Scenes with a Moving Camera for 3D Motion Field Estimation（2018，ECCV，NVIDIA
DynaSLAM
lucas1997的博客
07-10 1595
摘要 假设环境刚体性在SLAM算法中是典型的。这种强假设限制了大多数SLAM在真实环境中的使用，这是一些相关应用的目标，如服务机器人或自动驾驶。Bescos等人展示了DynaSLAM，一种视觉SLAM系统，建立在ORB-SLAM2上，增加了动态物体检测和背景修补。DynaSLAM在动态场景中是鲁棒的。作者能够通过多视图几何，深度学习或者两者同时来检测动态物体。得到的静态场景地图允许修补被动态物体遮挡的帧背景。DynaSLAM 超过了标准SLAM的表现在高动态环境中。同时，它也估计了环境静态部分的地图，对于
DynaSLAM源码笔记-检测动态物体部分梳理
SLAM小土堆
11-17 3455
按照main函数向下细分的顺序大概记录一下rgbd情况下，动态物体去除（inpaint的部分不是重点）的源码的写法，并对应一下论文, 关于ORB-SLAM2本身的部分不会太涉及到。 安装方法见：关于运行DynaSLAM源码这档子事(OpenCV3.x版) 论文笔记见：论文笔记-DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes 一. rgbd_tum.cc 新增了一个命名空间和类来进行关于MaskRCNN的处理，先进行这个对象的初始化，
DynaSLAM II: Tightly-Coupled Multi-Object Tracking and SLAM 论文笔记
TheRun的博客
11-29 2134
DynaSLAM II: Tightly-Coupled Multi-Object Tracking and SLAM 论文笔记 参考文章 知乎 https://zhuanlan.zhihu.com/p/383657160 CSDN https://blog.csdn.net/catpico/article/details/119954707 动态SLAM：现有三种方案思路： 检测动态的区域，然后在SLAM环节去除 在定位之外的环节，把包含动态内容的图片转换成静态内容的图片（DynaSLAM I中去除
编译dynaslam
最新发布
01-09
编译Dynaslam需要首先从Github上获取源代码并进行下载。然后需要安装相应的依赖库和工具，比如CMake、Eigen、Sophus等。接着，在命令行中使用CMake来生成编译配置文件，然后使用make命令来进行编译。在编译过程中可能会遇到一些依赖库版本不一致或者路径配置错误的问题，需要仔细检查并解决。编译完成后，可以在编译目录中找到Dynaslam可执行文件，并进行测试和运行。 在编译过程中，可能会遇到一些编译错误或者警告信息，需要根据具体情况来进行调整和修正。另外，如果是在Windows系统上进行编译，可能会需要额外的配置和工具来支持一些Unix/Linux上默认存在的功能。总的来说，编译Dynaslam需要有一定的编程和系统配置经验，同时需要仔细阅读官方文档和代码注释，以便能够顺利地搭建和运行Dynaslam系统。 值得注意的是，Dynaslam是一个开源项目，因此在编译过程中可能会需要使用一些特定的编译选项或者配置，以适配不同的硬件平台或者操作系统。这一点需要根据具体情况进行相应的调整和修改。最后，建议在编译前备份好源代码和相关文件，以免在编译过程中出现意外导致数据丢失。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值