UnOS: Unified Unsupervised Optical-flow and Stereo-depth Estimation by Watching Videos论文解读

UnOS: Unified Unsupervised Optical-flow and Stereo-depth Estimation by论文解读(个人理解)

摘要

本文提出了一个UNOS的框架，即通过光流和深度在刚性场景假设下的内在几何一致性，由CNN来无监督地联合训练光流和深度。它是由来自视频中的连续的图像对，再由UNOS中的三个平行的网络（Stereo Net、Motion Net and Flow Net）来分别估计出深度图、相机自我运动和光流。再由相机的自我运动和深度图就可以计算出刚性光流，然后再与从Flow Net中估计出来的光流作比较；就可以产生满足刚性场景假设的像素。因为要加强在刚性区域内光流和刚性光流之间的几何一致性，所以导出了一个rigid-aware direct visual odometry（ RDVO）模块。当然在UNOS的学习中，也考虑到了刚性和遮挡感知流一致性。

介绍：

本文主要是由无监督的方法来联合学习光流和深度，通过它们之间的几何一致性来训练参数。而许多其他的论文都是分开学习和训练光流和深度的。UNOS的大体结构框架如下图所示：

在训练期间，会从视频中获取连续的两对图像对Ls、Rs和Lt、Rt。UNOS将会从Motion Net 、Stereo Net和Flow Net中估计出深度图Dt、相机的自我运动Tt_s和光流Ft_s。然后RDVO将会在Moti