ECCV2020:S3Net:将几何、时间和语义约束和合成图像结合起来

论文:添加链接描述

摘要

用单目相机解决深度估计使得有可能将相机广泛用作低成本的深度估计传感器,例如自动驾驶和机器人技术。
但是,学习这种可扩展的深度估计模型将需要大量标记的数据,这些数据收集起来很昂贵。现有两种流行的方法不需要带注释的深度图:
(i)在对抗框架中使用标记的合成和非标记的真实数据来预测更准确的深度。
(ii)在单目中使用跨时空的几何结构的无监督模型
理想情况下,我们希望利用两种方法提供的功能,因为他们彼此互补。但是,现有方法不能充分利用这些附加好处。我们提出了S3Net,这是一个自监督的框架,它结合了这些互补的特征:我们在利用几何、时间和语义约束的同时,使用合成图像和现实图像进行训练。

网络框架

在这里插入图片描述

贡献

1、新的GAN框架
(1)对抗约束

在这里插入图片描述

(2)个体约束

在这里插入图片描述

(3)语义约束
因为转换的图像会产生伪影,我们提出了这个交叉熵损失

在这里插入图片描述

(4)地面真实光流的光度一致性
光度重投影损失:

在这里插入图片描述

2、把无监督和自监督深度估计结合起来
(1)有监督的深度损失

在这里插入图片描述

(2)边缘一致性损失

在这里插入图片描述

(3)第一阶段总的损失

在这里插入图片描述

(4)自监督深度估计的姿态
与平时的一样

在这里插入图片描述

(5)双向自动掩膜
从t-1到t,从t+1到t

在这里插入图片描述

(6)第二阶段损失

在这里插入图片描述

©️2020 CSDN 皮肤主题: 游动-白 设计师:上身试试 返回首页