论文笔记-UnsupervisedMonocular Depth Estimation with Left-Right Consistency

利用左右一致性进行非监督单目深度预测

---

摘要

基于学习的方法在深度预测中已经取得可观的性能，但是这些方法大多是监督学习方法，需要有标注的数据，但是现实生活中得到有标注的数据实际上是相对较为困难的，因此需要提出比现有的更好的办法，能够利用更容易获取的双目图像对辅助进行单目深度预测。
提出的方法可以使得网络训练不需要带有标签的真实值数据。通过立体图像对来进行立体关系的约束，并以此作为网络训练的监督信号，通过左右图像之间的视察的一致性来提高现有方法的性能和鲁棒性。方法取得现有较好的性能。

一、引言

论文首先对深度预测进行回顾，对主要方法进行概述，这些方法使用的模型都是用大量带标签数据进行离线训练之后的模型，然后对每个像素点进行深度预测。在概述深度预测之后，论文介绍了深度预测的实际运用以及研究深度预测方法意义、前景。

人类对深度的理解是一个包含自顶向下和自底向上的线索的过程，为了能精确估计深度，人类会利用包括视角、尺度相关关系、阴影、相互遮挡等多种信息进行深度预测。文章提出的方法，将深度预测的网络训练过程看作是一个图像重建人物，能够学习到一对立体图像之间的对应关系，已有的很多方法解决这个问题。本文提出的方法主要对网络训练中的训练目标进行修改，以此提升了网络的性能。

文章的主要贡献包括：

• 端到端的单目深度估计网络，新的训练 loss，在网络中运用左右一致性
• 测评几种 loss 的实际性能，验证方法的有效性
• 模型的泛化能力验证

二、相关工作

现有的方法有很多估计深度的，单目、双目图像、多张重叠视角图片、时间图像序列、光照变化的照片序列等。本文主要工作关注单目深度预测，只有一张图像作为数据输入。

基于学习的立体视觉

大多数方法都是计算两张图片之间的像素点之间的相似性然后进行处理。引入深度学习后的方法，通过一定的网络，设置合适的loss，训练依赖大量的数据，由于现实中的数据很难得到，实际使用的是合成数据，对于新的应用场景还是需要重新创建内容以提高现实实际吻合程度。

监督单目深度估计

介绍最原始的单目深度估计、引入深度学习、多尺度信息加入深度网络，将回归问题变为分类问题看待等。本文的方法也是单目估计，但是使用参照图片而不是真实视差图。

非监督单目深度估计

作者详细介绍了Deep3D，然后基于受监督的 DispNet 不用真实值数据进行网络训练。左右一致性在双目视觉中作为后处理的步骤之一。

三、提出的方法

3.1 将图像深度估计作为图像重建

给定输入 $I$ ，网络的目标需要学习深度估计函数，$\hat{d}=f(I)$，现有的方法基本是监督方法，实际这存在数据局限，因此不需要真实值的训练数据，进行非监督学习是有必要的（工作的意义和价值）。
训练过程有 $I^l$和$I^r$作为网络输入，尝试找到两张图像之间的对应关系$d^r$，将此作用在$I^l$，得到重建的右图，同样重建得到左图。

3.2 深度估计网络

使用左图同时得到左右的视差图（主要创新点），然后彼此之间的一致关系帮助得到更好的深度预测性能。之前的方法主要是两类，一类使用左图预测右图视差，通过右图视差和左图重建得到右图，跟实际右图比较；另一类使用左图预测左图视差，通过左图视差和右图重建得到左图，跟输入的左图比较。提出的方法利用左图同时估计左图和右图的视差，然后同时重建左右图，左右图都比较。如文中图三所示。
网络是全卷集网络，在DispC 基础上稍作修改，关键修改使得网络不依赖真实值进行视差网络学习。

3.3 Loss 的定义

引入三种 loss，详情见论文。三种 loss 分别是重建后的图像的匹配 loss、视差的圆滑性 loss、视差的左右一致性 loss，结合三种 loss 训练网络。

四、实验结果

实验概述，训练的数据集等。

4.1 实现细节

软硬件细节、优化器设置、非线性矫正单元和学习率设置、数据增强、网络基础、后处理等

4.2 KITTI

数据集划分 KITTI Split 和 Eigen Split

4.3 Stereo 版本

4.4 Make3D 数据

4.5 泛化

4.6 局限性

五、结论

总结当前工作和结果，对未来扩展进行讨论