每天一篇论文 311/365UnOS: Unified Unsupervised Optical-flow and Stereo-depth Estimation by Watching Videos

UnOS: Unified Unsupervised Optical-flow and Stereo-depth Estimation by Watching Videos

Code

摘要

本文在文献[31]的基础上,利用卷积神经网络(CNN)固有的几何一致性,提出了UnOS,一个统一的无监督光流和立体深度估计系统。UnOS明显优于其他独立处理这两个任务的最新(SOTA)无监督方法。具体来说,给定视频中的两个连续立体图像对,UnOS使用三个平行cnn估计每像素立体深度图像、相机ego运动和光流。基于这些量,UnOS计算刚性光流,并将其与从流网络估计的光流进行比较,得到满足刚性场景假设的像素。然后,我们鼓励在刚性区域内两个估计流之间的几何一致性,并由此导出刚性感知直接视觉里程(RDVO)模块。我们还提出了刚性和阻塞感知的流一致性损失来学习UnOS。我们在流行的KITTI数据集上评估了4个相关任务的结果,即立体深度、光流、视觉里程和运动分割。

贡献

1.我们设计了一个统一的无监督光流和立体深度学习框架,称为“UnOS”,通过显式地鼓励它们与自动发现的刚性区域的几何一致性,从而在这两个任务中都产生SOTA性能。
2.我们设计了一个刚性感知直接视觉里程计(RDVO)模块,该模块使用光流匹配小心地处理刚性区域,从而产生更精确的摄像机运动估计。
3.我们在训练模式中加入了刚性和遮挡的特性,这对CNNs的学习是有效的。

方法

在这里插入图片描述

T-S,和L-R的像素图像上的转换规则

在这里插入图片描述

有遮挡的视角合成

在这里插入图片描述
在这里插入图片描述

非结构下直接VO
这点比较像动态SLAM在场景中将运动的非刚体运动点过滤,只用刚体运动的点进行匹配

在这里插入图片描述
在这里插入图片描述

结果

深度估计
在这里插入图片描述
2.里程计估计
在这里插入图片描述

光流深度估计

在这里插入图片描述

发布了132 篇原创文章 · 获赞 10 · 访问量 7744
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览