Unsupervised Monocular Depth Estimation From Light Field Image

** Unsupervised Monocular Depth Estimation From Light Field Image **

Network Architecture
在深入研究前人工作的基础上，我们设计了一个端到端的无监督光场深度估计网络。利用光场的warp机制，在子孔径图像之间进行图像warp，并结合光场的多个信息和约束条件生成无监督损失。

Overall Architecture
我们的网络架构示意图如图1所示。它是一种端到端结构的单目视差估计网络，以光场的中心视图作为输入。相似结构广泛应用于许多无监督方法中，如[15]、[19]。理想情况下，我们网络的输出是为每个子孔径图像预测一个视差图，这鼓励预测的视差图在各个视图中保持一致。由于GPU内存资源的限制，我们无法将所有的子孔径图像送入网络进行端到端的学习。因此，我们的网络只能预测中心视图和8邻域视图的视差。. 受多向极线几何[13]、[34]思想的启发，我们选取四个角方向（水平、垂直、左右对角线）的子孔径图像参与无监督损失计算。在我们的实验中，我们使用了7×7星型（25个视图）的子孔径图像。为了简单和易于表达，我们将它们分为三类：中心视图、内部视图和外部视图，如图1所示。中心视差用于内部视图和外部视图的warp来重建中心视图。类似地，内部视图的视差被用来warp中心视图Ic，从而重建内部视图。所有这些重建图像都被用来参与无监督的损失计算。值得注意的是，Iouter在网络训练中起着重要的作用，可以避免梯度消失问题。如图2第一行所示，在没有外部视图的情况下训练的网络似乎可以成功地预测视差。然而，Badpix（0.07）的误差图表明，预测结果远不能令人满意。我们认为主要原因是微小的视差差异和线性插值导致梯度消失，训练停止。外部视图可以扩大差异以避免这个问题。

最后，结合光场几何特性和数据一致性度量，设计了三种新的无监督损失函数。它们分别是光度损失Lp、散焦损失Lr和对称损失Lsym。总无监督损失Ltotal可定义如下：

Warping Scheme of Light Field
设LF（x，u）为两平面参数化表示的4D光场数据，x和u分别为空间坐标和角坐标。中心视图Ic（x，u0）由通过主透镜光学中心u0的光线形成。中心视图的视差为dc（x，u0）。给定子孔径图像I（x，u），通过warp I（x，u）重建的中心视图可以表示为：

以类似的方式，我们可以从中心视图获得重构的内部视图，如下所示：

Photometric Loss
根据光度一致性的隐藏假设和光场的对应信息，计算warped图像I~与原始图像I的相似度，计算光度损失Lp。

我们采用了稳健的图像相似性度量[15]，[19]，它结合了L1和单尺度SSIM项[50]。原始图像I与其重建版本I~之间的光度损失可以表示为：
所以总的光度损失是

与传统无监督方法中的光度损失不同，我们将光度损失与四向EPIs的几何约束相结合，避免了消失梯度问题，如图2所示。

Defocus Loss
光场图像包含足够的角度分辨率用于重新聚焦，这通常意味着与深度信息相关的重要散焦线索。这里，通过使用等式2将子孔径图像warp到中心视图。然后将所有重建的中心视图进行累加，就可以很容易地生成完整的图像

如果中心视图的视差估计是准确的，则完整图像是全聚焦图像（没有散焦模糊）[23]。否则，完整图像会出现散焦模糊。

一般来说，散焦会降低图像的清晰度和对比度。Tao等人[20]，[21]使用了一种基于对比度的度量方法来寻找每个像素具有最高对比度的最佳视差。在我们的网络中，我们恢复了一幅全聚焦的图像，并提出了一种计算散焦损失的简单方法。我们直接使用等式4来比较积分图像与中心视图的对比度，因为中心视图可以近似地视为没有模糊的针孔成像的结果。离焦损失定义为：

值得一提的是，散焦损失的影响不同于光度损失的影响，尽管它们都使用公式4。注意，单个重建的中心视图是没有散焦模糊的图像，因为光场的子孔径图像可以视为针孔图像。因此，光度损失代表光度误差和图像结构失真。此外，全聚焦过程中的重采样和求和使得散焦损失不仅为视差预测提供了全局约束，而且具有一定的去噪和平滑能力。因此，我们采用散焦损失来代替现有许多无监督方法中的视差平滑损失。图三展示了散焦损失对网络预测效果的影响。显然，散焦损失不仅可以平滑视差图，而且可以提高视差不连续区域的预测精度。第IV-F节中的网络消融实验也验证了散焦损失的有效性。

Symmetry Loss
在现有的大多数无监督方法中，通常采用左右或前后视差一致性来检测遮挡。然而，实验表明，视差一致性损失对光场深度估计没有明显影响。主要原因是，在视差范围小、视差精度亚像素的光场情况下，很难在视差一致性损失和其他损失之间选择合适的权重比。另外，视差一致性用于遮挡检测，而不是遮挡处理。因此，我们将传统的视差一致性损失扩展为更有效的遮挡对称性损失来实现光场深度估计。根据光场的成像几何，很容易发现子孔径像的排列是中心对称的。这种排列意味着许多对称线索，如几何互补的遮挡[35]，焦栈对称[22]，等等。此外，在许多光场遮挡模型中，广泛使用的遮挡假设是，如果基线足够小，遮挡只发生在一个方向[22]，[24]，[25]。

我们在视差一致性的计算中引入了上述遮挡假设和对称性线索。如果视差一致性在一个方向上被破坏，那么它在相反的方向上保持不变。因此，我们处罚的情况是，视差一致性是违反了两个方向。具体来说，让dl（x，ul）和dr（x，ur）分别是左邻域和右邻域视图的视差，左右邻域视图L lr sym的对称性损失定义为：

同样，我们可以得到其他内部视图的对称性损失。将Ltb sym、Ltlbr sym和Ltrbl sym分别表示为top-bottom、topleft-bottomright和topright-bottomleft邻域视图的对称性损失。总对称性损失定义如下：