Occlusion-Aware Cost Constructor for Light Field Depth Estimation论文阅读

最新推荐文章于 2022-12-08 18:23:50 发布

wtlaibaodao

最新推荐文章于 2022-12-08 18:23:50 发布

阅读量539

点赞数 2

分类专栏：光场文章标签：计算机视觉人工智能图像处理深度学习

原文链接：https://openaccess.thecvf.com/content/CVPR2022/html/Wang_Occlusion-Aware_Cost_Constructor_for_Light_Field_Depth_Estimation_CVPR_2022_paper.html

版权

光场专栏收录该内容

3 篇文章 0 订阅

订阅专栏

前言

深度估计中，匹配代价体构建是非常重要的一步，但是很难学习到。本文提出一种简单快速的代价体构建的方法去构建深度估计匹配代价。本文代价体的构建是一系列卷积和特别的扩张率组成。并且构建的代价体可以感知遮挡部分并动态的处理遮挡。

一、介绍

当前基于深度学习的深度估计总共分为四个部分：特征提取，代价体构建，代价聚合和深度回归。
在深度估计中，匹配代价体构建过程中，不同空间位置的像素是平等的处理。但是一些像素是被遮挡的，具有较少有用的信息甚至会对结果造成负面影响。为了解决这个问题，本文的代价体构建是一系列的卷积组成，并且可以动态的从不同的视角中调节像素。
本文的贡献：
(1)、在立体匹配的方法中，使用代价体取代了位移和拼接的方法。
(2)、代价体是可以感知遮挡的，通过细粒度方式调制来自不同视图的像素。

二、相关工作

1.传统方法

（1）、一种阶段性的多视角的立体匹配的方式。
（2）、一种基于空间角度一致性的遮挡感知算法
（3）、一个旋转平行四边形算子 (SPO) 来计算深度估计的斜率

2.深度学习方法

（1）、U-shaped网络使用3D卷积提取几何特征。
（2）、多流网络和一系列数据增强的方法。
（3）、基于注意力的选择网络。

三、方法

首先描述了LF的结构和分析了遮挡对角度一致性的影响。其次提出了遮挡感知的代价体。最后提出了光场深度估计的网络。

1.LF Structure and Occlusion Analysis

光场中，使用两平面的模型去参数化光场图片：
在这里插入图片啊描述

在光场中，一个场景的点能够被不同的相机捕捉到每个图像的不同的位置。因此能够按像素估计每张光场图像的视差。

在朗伯和无遮挡的前提下，一个场景的点在不同视角中应该有相同的强度。深度估计可以通过选择高角度一致性的视差候选来实现，为了比较不同视差下的角度一致性，按如下公式构建角度patch：
在这里插入图片描述
在无遮挡的情况下，角块的颜色与相邻的颜色是相近的，并且在正确的视差下，角度块中像素的强度是一致的。但是这一理论在有遮挡的情况下是不成立的。基于此，提出了遮挡感知的代价体构建来处理遮挡问题。

2.Occlusion-Aware Cost Constructor

本文对于匹配代价构建，提出了遮挡感知的代价体构建。主要特点有两个，一是使用卷积去融合特殊的视差下每个视角的像素；二是在代价体构建的时候对遮挡的部分进行处理。

①基于卷积的代价体构建

为了构建匹配代价，每个候选视差下角块的像素应该被分别集成。并且光场子孔径图像可以有效地寻找相关的像素来构造角块。代价体是由一系列不同扩张率的的卷积核组成，扩张率与视差息息相关。计算公式如下：
在这里插入图片描述
其中H,W是SAI图像的高和宽。零填充是为了每个子孔径图像避免在不同视角下的边界混叠。此外对边界特征进行裁剪是为了输出特征的空间分辨率为H*W。

②通过像素调制进行遮挡处理

本文还采用一个调制机制可以动态的适应不同视角像素之间的振幅，为了处理遮挡。这个调制机制可以适应每个视角中每个位置实现遮挡感知代价体构建。如果场景中的某些像素被遮挡，可以采取一些机制来降低遮挡像素对代价构建的影响。

③遮挡掩盖生成

为了实现遮挡感知代价体构建，每个视角的遮挡掩盖需要计算。本文提出一种推断遮挡掩盖的无参数化方法。对于遮挡区域来说，一个场景的点在中心视角是可用的但是在相邻视角中是不可用的，因此可以根据光度一致性先验计算细粒度的遮挡掩码。

3.网络设计

在这里插入图片描述
使用U*V的LF作为他的输入，并且顺序执行特征提取，代价体构架，代价体增强和深度回归。

①特征提取

首先用33的卷积来提取最初的特征，紧接着使用8个残差模块（Conv-BNLeakyReLU-Conv-BN）对深度特征提取，最后一个残差模块将生成特征并且送入33的卷积层中为代价体构建做准备。

②代价体构建

特征提取之后，将特征送入OACC模块。代价体是由一系列卷积核大小为U*V且不同扩张率的的卷积来融合不同视差下的角块。在测试阶段，生成一个初始的遮挡掩盖模块，并且使用这个初始的掩盖模块来进行深度估计；在获得初始的视差图之后，再用这个视差图更新遮挡掩盖，在用遮挡掩盖模块生成更准确的模块，这样迭代之后得出最终结果。