目录
3. Surface cameras (SCams) 表面相机
2. Methods based on angular patches
3. Methods based on the focal stack
4.Methods based on multi-view stereo (MVS)
摘要
这是一篇综述类文章，讲述了光场深度估计的挑战，以及一些提交的光场深度估计算法的优势和劣势。明确了光场算法所处的位置和确定了进一步改进的潜力。
一、介绍
光场分析与经典多视图场景的主要区别在于密集且规则的采样，这允许开发新颖且高度准确的深度重建方法，该方法可以正确考虑遮挡以恢复精细细节。 近年来，各种算法被发表，但对其优缺点的客观比较并不直截了当。
展示了深度估计挑战的结果。 有 7 名挑战参与者、2 份额外的基准提交和 5 份基线提交，我们总共分析了 14 种算法。 这是对当前最先进技术进行分类和全面评估的良好基础。 目标是尝试比较不同方法的相对优势和劣势，以了解哪些组件对某些场景属性或结构产生了良好的结果，并了解哪些场景仍有改进的空间。
二、光场深度估计
4D光场图像的参数表示：image plane参数化为 p = (x, y), focus plane参数化为 c = (s, t)。这两个平面平行，则光场平面表示为 L = (x, y, s, t) = (p, c)。
1. 子孔径图像和视差
固定(s, t)坐标，移动(x, y)坐标。对每一对(s, t)获得理想针孔相机捕获的图像 I(s, t)。这些相机具有与平面正交的平行光轴和相同的焦距，这样获得的针孔图像叫做子孔径图像。
假设 3D 场景点与焦平面的距离为 Z，则其在子孔径视图中的投影坐标遵循针孔投影。通过该点的两条不同的射线 r1、r2 的关系为：L(p2, c2) = L(p1 − (c2 − c1) * f / Z, c1)。 其中 d = Z / f 叫做视差。他将从空间中某一点辐射出来的光都关联起来，如果这个 3D 点位于场景表面并且场景是朗伯式的，那么所有这些光线应该共享相同的辐射。 这个假设是讨论的所有视差估计算法的基础，并被用来推断深度。
视差对应关系产生了多视图立体匹配方法。 实际上，它暗示了子孔径图像中的强度关系。
2. 极平面图像
如果固定 (t, y) 或者 (s, x)，我们得到水平或者竖直的极平面图像。 3D的点投影到极平面图像上的线上，其斜率与深度有关。 因此，有几种方法将估计深度的问题转化为估计这些模式的斜率。 EPI 结构丰富的另一个优点是它提供了一种方法来分析更复杂场景。 例如，当叠加线图案出现在半透明或部分反射区域时，可以同时估计它们的斜率。
3. Surface cameras (SCams) 表面相机
根据视图中的像素 p 和视差 d 是焦点 c 的函数，并对场景点在相应深度处的所有对应投影的辐射度进行采样
4. focal stack 焦点堆栈
焦点堆栈：光场结构的一个有用特征，可以构建重聚焦的图像，为此，需要对从该特定深度的点发出的所有光线在焦平面上的孔径进行采样。
三、算法
1. EPI1
该算法分析 EPI 中图案的方向。 他们用固定视差的原子构建字典，并在 EPI 的补丁上使用稀疏编码来找到最能描述补丁的字典元素。 关键思想是只有那些方向正确的补丁才会被稀疏编码选择。 这种方法还允许重建多层深度图。
2. EPI2
该算法分析 EPI 中图案的方向。采用分析方法并使用结构张量计算极线的方向。 可以采用不同的方法从结构张量构建深度图，例如，遮挡一致的深度标记，基于正则化的方法等。 通过应用二阶结构张量还允许重建多层深度图。
3. LF
该算法使用绝对差异之和以及小矩形块中的梯度差异之和来构建成本量。 使用中心视图作为指导，对成本量的每一部分进行单独调整。 之后，使用稀疏 SIFT 特征作为指导执行使用图割的多标签优化。 在最后一步通过拟合二次函数来细化离散视差图。
4. LF_OCC
该算法细化遮挡边界。 细化的候选对象是中心视图中边缘周围的区域。 对于这些区域，角块根据遮挡区域和非遮挡区域中的边缘方向进行划分。 之后，使用包括遮挡预测的二进制成本对 MRF 进行正则化。
5. MV
该算法使用视图的十字准线。 构建了四种不同的成本体积，分别将中心视图像素与左侧、右侧、顶部和底部视图中的像素进行比较。 作为成本函数，使用 L1 范数的平均值。 然后，通过对水平和垂直方向的最小成本求和来组合成本量。 最后，使用赢家通吃策略生成初始视差图，并使用 TGV-L1 去噪对其进行正则化。
6. OFSY 330DNR
该算法基于焦点堆栈对称性构建代价量。 通过仅沿特定方向选择视图来构建焦点堆栈，代价计算对遮挡具有鲁棒性。 根据代价量，他们使用子标签准确的全局优化计算初始视差图。 这个视差图在最后一步被细化，不仅可以平滑视差，还可以平滑法线。
7. OMG_occ
该算法对多个遮挡物的情况进行建模，并得出这种情况下光场的角度和空间斑块之间的关系。 在给定初始视差估计和 k-means 聚类的情况下选择非遮挡视图会产生更清晰的代价量，然后使用 MRF 对其进行正则化，其中成对项的权重调整为遮挡边界。
8. PS_RF
根据绝对差之和、梯度差之和、零均值归一化互相关和Census变换 (能够减少光照差异引起的误匹配) 使用四种不同的成本量。 之后，构建了两个级联随机森林。 一个用于分类，即选择成本的重要组合，另一个用于回归以推断具有亚像素精度的视差值。
9. RM3DE
计算小 1D 窗口中中心视图和外部视图之间的 L2 差异。 为了考虑遮挡，他们采用视图 c 和相反视图 -c 的成本之间的最小残差。 此外，他们仅根据视图之间的基线考虑其中一个方向的窗口。 这个数据项是在一个从课程到精细的方案中实现的，以考虑几乎没有纹理的区域。
10. SC_GC
计算每个 SCam patch的 50% 视图的平均残差，误差最低，并将这些代价拼凑成一个代价量。 该代价量以边缘和遮挡感知方式进行优化。 然后局部平面拟合细化估计。
11. SPO
SPO对极平面图像进行操作并估计极线的方向。 定义了所讨论的线的左侧和右侧的两个区域，并为这两个区域计算直方图。 使用高斯导数作为每个像素的权重。 比较这些直方图会产生不同离散差异的成本函数。 水平和垂直方向的成本量根据置信度度量进行组合。 然后，为每个深度标签单独规范化成本量，并通过赢家通吃策略生成视差图。 不执行子标签细化。。
12. ZCTV
使用全变分方法对稀疏深度图进行修复和去噪。 总变化参数由边缘图和线拟合方差调整。
13. OBER
对于每个像素，OBER 迭代地最小化平滑度度量加上沿 EPI 中相应线的方差，忽略被遮挡的像素。 平滑项基于双边滤波器。
14. OBER-cross
使用视图的十字准线，将水平和垂直信息组合成一个联合视差图。
四、光场算法分类
1. Methods based on EPIs
基于极平面的深度估计算法都有一个问题：怎样去融合水平以及竖直平面的极平面图像的估计信息？通常，两个估计之间的加权是基于估计的代价量/分布函数的残差或统计来执行的。
2. Methods based on angular patches
一般来说，基于角度补丁的方法不受视图数量或视差范围的显着限制。
3. Methods based on the focal stack
使用多视角立体的方法原因是遮挡往往在一个方向出现，所以这种方法可以比较部分没有遮挡的堆叠的信息，这种方法没有考虑到多种遮挡和很小的遮挡的方式。
4.Methods based on multi-view stereo (MVS)
一般来说，与仅基于角度补丁的方法相比，基于补丁的方法使深度估计对噪声更加鲁棒，因为他考虑了视图中的空间邻域。 但是，如果没有明确建模，它们往往会在存在遮挡的情况下遇到更多问题。
初始的深度图提取
基于代价容器计算的方法必须从代价容器中提取初始深度图。采用额外的正则化，通常适用于中心视图边缘和其他因素。 许多算法首先对各自的成本体积切片执行边缘感知正则化。
精细化
生成密集深度图的最后一步可能比之前的方差更大，并且没有效果非常好的通用策略。 目标通常只是进一步规范初始结果，并且在本质上往往是相当启发式的。 很难评估这些启发式中的哪一个是真正的普遍改进。
五、评价方法
High accuracy metrics
Surface reconstruction metrics
总结
以各种方式彻底评估了 14 种算法，例如关于它们的遮挡处理性能，它们对输入图像错误的鲁棒性以及它们产生光滑表面的能力。除了基准之外，还引入了新的指标来评估算法的最佳情况准确度以及表面法线估计的误差。
在某些方面具有相当强性能的算法是不连续处的 SPO、连续表面处的 'OFSY 330DNR 和用于最高准确度和整体良好性能的OBER-cross。但是，没有一种算法在每个类别中都表现出色。
尽管评估表明最先进算法的整体性能非常好，但仍然存在具有挑战性的开放问题。 其中包括更好的遮挡建模、更好的不连续感知正则化、在保持质量相似的同时提高运行时间，以及确定哪种光场表示在哪种情况下产生最佳结果的好方法。
扫一扫
4107
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
