作者提出了一种新方法来训练机器学习算法,通过使用摄像机孔径提供的信息作为监督,从单个图像估计场景深度。 之前的工作使用深度传感器的输出或来自备用视点的同一场景的图像作为监视,而我们的方法使用来自相同视点的图像,这些图像是在不同的摄像机光圈下拍摄的。 为了使学习算法能够使用光圈效果作为监视,我们引入了两个可微分光圈渲染函数,这些函数使用输入图像和预测深度来模拟真实摄像机光圈引起的景深效果。 我们对端到端的单眼深度估计网络进行训练,以预测最佳解释这些有限孔径图像的场景深度,作为输入全焦点图像的散焦模糊渲染。
一、相关介绍
1、镜头光圈:光圈越大,景深越小;光圈越小,景深越大。背景离焦面越远越模糊。
2 、光场
光场从7维简化到4维
L(u,v,x,y)表示光场的一个采样,其中各变量分别表示:(u,v)和(x,y)分别为光线与两个平面的交点坐标,在四维(u,v,x,y)坐标空间中,一条光线对应光场的一个采样点