UnOS: Unified Unsupervised Optical-flow and Stereo-depth Estimation by论文解读(个人理解)
摘要
本文提出了一个UNOS的框架,即通过光流和深度在刚性场景假设下的内在几何一致性,由CNN来无监督地联合训练光流和深度。它是由来自视频中的连续的图像对,再由UNOS中的三个平行的网络(Stereo Net、Motion Net and Flow Net)来分别估计出深度图、相机自我运动和光流。再由相机的自我运动和深度图就可以计算出刚性光流,然后再与从Flow Net中估计出来的光流作比较;就可以产生满足刚性场景假设的像素。因为要加强在刚性区域内光流和刚性光流之间的几何一致性,所以导出了一个rigid-aware direct visual odometry( RDVO)模块。当然在UNOS的学习中,也考虑到了刚性和遮挡感知流一致性。
介绍:
本文主要是由无监督的方法来联合学习光流和深度,通过它们之间的几何一致性来训练参数。而许多其他的论文都是分开学习和训练光流和深度的。UNOS的大体结构框架如下图所示:
在训练期间,会从视频中获取连续的两对图像对Ls、Rs和Lt、Rt。UNOS将会从Motion Net 、Stereo Net和Flow Net中估计出深度图Dt、相机的自我运动Tt_s和光流Ft_s。然后RDVO将会在Moti