每天一篇论文 275/365 SGANVO: Unsupervised Deep Visual Odometry and Depth Estimation with Stacked Generativ

SGANVO:堆叠GAN无监督深度视觉里程计和深度估计

本文提出一种GAN堆叠网络，进行深度和Ego-motion预测 ，个人认为，增加了网络层数，多次预测，增加了深度估计效果，其他的操作都是常规操作，但是产生了可以说是惊人的效果，说明大网络才是硬道理。八十层，和八百层网络的区别。

摘要

最近，端到端的无监督深度学习方法在视觉深度和自我运动估计任务中显示出令人印象深刻的性能。这些基于数据的学习方法不像基于几何的方法那样依赖于相同的限制性假设。编解码网络在深度估计中得到了广泛的应用，RCNN在ego运动估计方面也有了显著的改进。此外，最近对生成性对抗网络（GANs）和自我运动估计的深入研究表明，在对抗学习过程中生成图片可以进一步提高自我运动估计。本文提出用于视觉深度和自我运动估计的新型无监督网络系统：叠加生成对抗网络（SGANVO）。它由一堆GAN层组成，其中最低层估计深度和自我运动，而较高层估计空间特征。它还可以捕获由于跨层使用递归表示而产生的时间动态。详见图1。我们选择最常用的KITTI[1]数据集进行评估。评价结果表明，本文提出的方法在深度和自我运动估计方面都能产生较好的或可比的结果。

贡献

据我们所知，这是第一次使用层叠生成和对抗性学习方法进行自我运动和深度地图估计。
•我们的学习系统基于一种新的无监督GAN方案，不需要基本事实。
•我们的系统具有一个能够捕捉时间动态特征的递归表示。

加入时间序列，在初始状态s1被设置到网络之后，当前的左帧和右帧被馈送到网络的输入端。网络以N个连续帧的顺序运行。N步后，初始状态再次设置为网络。

生成网络结构描述

深度估计结果 非常不错

位姿估计结果 非常不错。。。。