论文翻译:DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes

DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes

引言

将SLAM与深度学习结合起来的工作越来越多。这些工作从不同的角度解决目前传统SLAM方法存在的问题。在我们跟进或者开展类似的工作的时候,需要想清楚,传统的SLAM方法目前遇到的问题到底是什么。对这些问题进行明确地分析,从理论框架、算法技术、工程实现等方面挖掘可以改进的点,对于更好地指导深度学习工具在SLAM中的应用具有极高的价值。

摘要

DynaSLAM基于ORB-SLAM2框架,增加了对动态物体的检测和背景修复的工作。该系统对动态场景具有鲁棒性,适用于单目,双目以及RGBD相机。该系统能够通过多视角几何,或者深度学习,或者二者融合,检测动态物体。场景的静态地图有助于对观测帧的背景进行修复,以消除动态物体遮挡的影响。
实验结果表明,该系统在高度动态的场景下,能够取得较baseline高的精度。其同时对地图中的静态部分进行了估计,对于长时建图很重要。

Introductiom

文章中指出了特征点法和直接法是目前主流的SLAM方案,但是都没能很好地处理动态场景,如行人,自行车,或者汽车。在视觉SLAM中,处理动态物体面临以下挑战:Detecting and dealing with dynamic objects in visual SLAM reveals several challenges for both mapping and tracking
(1) 如何检测图像中的动态物体:以防止对属于动态物体的像素进行跟踪。防止所构建的地图中包含了动态物体。
(2) 如何对地图中收到动态物体暂时遮挡的部分进行补充。

本文的框架如下:首先,在ORB-SLAM2的前端增加一个front-end stage。在单目或者双目条件下,我们使用一个CNN去对图像帧做先验的像素级分割,接下来SLAM系统将不在动态物体上做特征提取。在RGBD情况下,本文提出融合多视角几何模型和基于深度学习的动态物体检测方法,然后对动态物体进行去除,以对被遮挡的背景进行校正。

Related work

在直接法中,处理动态物体的策略主要是:

  1. 基于光流信息;
  2. 将连续的两帧投影到相同的平面上,发现不一致的地方
  3. 对连续两帧之间的灰度变化进行统计,然后对像素进行分类。

目前所有的方法都难以estimates lifelong models when an a prior dynamic object remains static, e.g. parked car

System Description

A. Segmentation of Potentially Dynamic Content using a CNN
使用Mask-RCNN获取像素级的语义分割区域以及对应的语义类别。
B. Low-Cost Tracking
当可能的动态区域被分割后,基于静态部分对相机位姿进行跟踪。跟踪是通过简单的最小化冲投影偏差实现的。
C. Segmentation of Dynamic Content using Mask R-CNN and Multi-view Geometry
通过Mask-RCNN可以去除语义上的动态物体,但是有些可能的动态物体仍然不能去除。在本文中,对于每个当前帧,我们选择与其重叠度最高的先前的关键帧,这种选择是通过考虑帧间位姿实现的。
然后对于先前关键帧每个关键点,将其投影到当前帧,获取其投影后的深度信息。在这里插入图片描述
如果 α \alpha α大于30°,该点可能被遮挡了,将会被忽视。作者注意到,在TUM数据集上,视差角度大于30°的静态物体,由于视角的差异被认为是动态物体。然后对于特征点冲投影前后的深度差异,如果深度差大于阈值,就认为该特征点属于动态物体。该阈值通过实验验证,选择为0.4m。
对动态物体的边界上的点,根据深度图像做了过滤。
然后,我们就得到了哪些特征属于动态物体,哪些不是。为了分类出所有属于动态物体的像素,我们再深度图上,在动态像素附近进行生长。对于几何方法,难以对动态区域进行初始化,对于学习方法,难以对临时静态的物体进行识别。

Tracking and Mapping

在前面分类为静态物体的图像区域上进行特征点的提取,用于机器人位姿的跟踪。

Background Inpainting

由于已知关键帧的位姿,将前面关键帧静态区域投影到当前帧的动态区域,以修复当前帧被遮挡的背景。

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值