Unsupervised Monocular Depth Estimation with Left-Right Consistency
#摘要
不像之前的有监督的方法一样,利用深度图作为标签(GT),本文的方法用容易得到的双目图来训练。利用epipolar geometry constraints。我们通过训练我们的网络来产生视差图像,使其具有图像重建的损失。结果表明,仅对图像重建进行求解就会导致图像质量较差。为了解决这个问题,我们提出了一个全新训练损失,它加强了相对于左图像和右图像产生的差异之间的一致性,与现有的方法相比,这将提高性能和健壮性。
#介绍
然而,这些技术大多依赖于对感兴趣的场景进行多次观察的假设。因此现在提出了很多机遇单眼深度估计的监督学习方法。但是这种方法需要很多的有标签的深度图,这个代价很大。而我们的全卷积模型不需要任何深度数据,而是被训练成将深度合成为一个中间值。
我们的算法有如下3个贡献:
1.一种网络结构,它执行端到端无监督的单目深度估计,并产生一种新的训练损失,使网络内部的左右深度一致。
2.对几种训练损失和图像形成模型的评估突出了我们的方法的有效性
3.除了展示在一个具有挑战性的数据集上的最优结果外,我们还展示了我们的模型在三个不同的数据集上的结果,包括我们自己收集的一个新的户外城市数据集,我们公开地收集这些数据集。
#相关工作
相关的一些工作往往对数据集有很多的限制,比如需要同个场景多张图像,不同角度,时间序列不同光照等等,而我们的方法就是着眼于单目深度估计,且没有任何其他的假设条件。
1.通过对比两张图像每个像素点间的差距,来得到深度。这种方法缺点就是数据难易获取,需要较大的人力。
2.单视图或单目深度