每天一篇论文 318/365 Moving Indoor: Unsupervised Video Depth Learning in Challenging Environments

Moving Indoor: Unsupervised Video Depth Learning in Challenging Environments

每天一篇论文汇总list

摘要

近年来，无监督的视频深度学习取得了显著的进展，其结果与KITTI等户外场景中的全监督方法相比，但在室内环境中直接应用这一技术，如白墙等非纹理区域的大面积，仍然存在很大的挑战，手持相机、透明眼镜和发光物体的自我运动更为复杂。为了克服这些问题，我们提出了一种新的基于光流的训练模式，通过提供更清晰的训练目标和处理非纹理区域来降低无监督学习的难度。实验结果表明，该方法与纽约大学深度V2基准上的完全监督方法有很大的提高。据我们所知，这是在室内数据集上所知的纯无监督学习方法的第一个定量结果。

通常室内深度估计面临的问题

主要问题总结如下：
1） 大面积的非纹理区域。与每个像素都有地面真实感监控的完全监控方法不同，无监控学习的监控信号只来自图像本身的外观差异。非纹理区域严重阻碍了训练，因为在这些区域中，光度损失总是接近于零。然而，我们观察到在室内数据集中有相当数量的图像具有超过50%的非纹理区域。白色的墙壁和地毯
相当常见的非纹理对象。
2） 手持相机更复杂的自我运动。一般来说，室内数据集是由手持式摄像机采集的，这意味着连续帧的ego运动要比汽车主要是向前行驶的驾驶场景复杂得多。特别是，我们无法从纯旋转序列理论上推断场景的深度。大量的纯旋转训练样本的存在将压倒整个训练过程。

方法

本文使用由光流估计网络产生的光流结果作为监控，训练更容易收敛。重要的组成是一个专门设计的网络，该网络负责以稀疏到密集的传播方式估计连续帧之间的光流。这种无监督流网络能够处理非纹理区域并产生可信的光流结果。该网络可以作为教师同时训练DepthNet和PoseNet。我们还改进了现有的PaseNET，使之更容易学习复杂的自我运动的手持式相机。

光流估计

loss function

室内深度估计效果