Multi-Scale Geometric Consistency Guided Multi-View Stereo

Multi-Scale Geometric Consistency Guided Multi-View Stereo

PatchMatch Stereo methods

四个步骤：随机初始化、传播、视图筛选和细化。其中传播和视图筛选是最重要的两个环节，前者影响运行效率，后者影响精度。对于传播，存在两种不同类型的并行方案：顺序传播和类扩散(diffusion-like)传播。前者仅在垂直（水平）方向上沿着并行扫描线遍历像素；相反，后者会同时更新带有棋盘模式的图像中一半像素的状态。虽然类扩散的传播提高了效率，但是在一些具有挑战性的情况下，其重建结果与顺序传播的结果有一定差距，这主要归结于健壮性交叉的视图选择，而不是传播。扩散式传播采用简单的阈值截断方案来确定聚合视图子集，这就导致了它对不同假设的偏颇的观点选择。

提出自适应棋盘格抽样(Adaptive Checkerboard sampling)和多假设联合视图选择(Multi-Hypothesis joint view selection)的基本MVS方法(ACMH)。
关键思想：一个较大区域内的像素可以被一个三维平面近似地建模，这表明结构化的区域信息和一个像素间的共享假设。因此，不在扩散传播中固定采样，ACMH搜索更大的区域，自适应采样更好的候选假设进行传播。

对于特定的像素，ACMH采用投票方案为不同传播提供相同的聚合视图子集，并赋予可信的视图更大的权值来聚合最终的多视图匹配代价。

此外，作为PatchMatch Stereo的关键组成部分，视图选择在很大程度上依赖于两个图像块之间稳定的视觉相似性度量。低纹理区域的低识别率导致了视觉相似性的模糊性，进一步降低了PatchMatch Stereo算法的性能。但是，当图像下采样时，在相同的patch窗口下的纹理信息具有更强的鉴别性。也就是说，纹理丰富度是一个相对的度量。然后，一个直观的想法是，可以在较粗的尺度上估计深度信息，以缓解低纹理区域的模糊性，并将其作为在较细尺度上匹配进展的指导。

基于上述思路，进一步提出了一种基于几何一致性指导的多尺度PatchMatch算法ACMM。
具体方法：构造图像金字塔，在粗尺度上获得低纹理区域的可靠深度估计，然后通过上采样将这些估计从较粗的尺度传播到较细的尺度，在最终尺度采用几何一致性去约束深度优化。

Adaptive Checkerboard sampling and Multi-Hypothesis joint view selection (ACMH)

structured region information 结构化区域信息：在一个相对较大的区域内的像素可以近似的用同一个三维平面来建模。ACMH是基于此对传播的候选假设进行更好的抽样，并为多视图匹配成本聚合选择可信度更高的视图。

随机初始化

对参考图像的每个像素，随机生成一个假设（包含深度和法向）构造一个三维平面。对于每个假设，通过平面间的单应从另外N-1个图像计算匹配代价；然后聚合最佳的K个匹配代价，作为后续传播的初始多视匹配代价。

自适应棋盘格采样

参考Massively Parallel Multiview Stereopsis by Surface Normal Diffusion
将参考视图的像素划分为红黑棋盘网格。这种模式下允许同时使用所有红色像素更新黑色像素，反之亦然。参考论文中从八个固定的位置采样。而文章对于红色或黑色的每个像素，将这8个点扩展为4个V型区域和四个长条区域。

每个V型区域包含7个样本，而每个长条区域包含11个样本。然后根据之前的多视图匹配代价从这些区域中抽取8个好的假设。这种采样方案是基于结构化区域信息。多视图匹配代价较小的假设更能表现出一个局部平面。这种策略有助于尽可能扩展一个局部共享区域的良好平面，并提供更紧凑的估计。

多假设联合视图选择

为了获得每个像素的鲁棒多视图匹配代价，进一步利用八个结构化假设来推断每个相邻视图的权重。对于每个像素p，使用传播的假设计算其对应的匹配代价，并将其嵌入到代价矩阵中

m_i,j为第i个假设h_i在第j个视图I_j的得分。
采用归一化互相关的双边加权自适应来计算匹配代价，该代价描述了两个patch之间的光度一致性。
（参考论文 Pixelwise view selection for unstructured multi-view stereo）
为了从上面的代价矩阵中推断出聚合视图，在每一列中应用一个投票决策来决定一个视图是否合适。
Key observation：对于一个糟糕的视图，它对应的8个匹配代价总视很高；相反，一个好的视图总是有一些较小的匹配代价。此外，良好的视图匹配代价将随着算法的迭代而降低。
因此，定义一个好的匹配代价边界为

t表示第t次迭代，τ₀表示初始的匹配代价阈值，α是一个常数。
此外，定义一个固定bad匹配代价阈值τ₁（τ₁>τ(t)）

对于一个特定的视图I_j，大于n₁的匹配代价数量应该满足：m_i,j<τ(t)
定义集合S_good(j)计算视图I_j的权重
同时，小于n₂的匹配代价数量应该满足：m_i,j>τ₁
一个视图同时满足以上条件可合并到当前的视图选择集合S_t中。（第t次迭代）

上述推断中，S_t可能存在不稳定的视图，因为噪声、观察点和尺度的影响。这意味着每个选择的视图将为最终聚合的匹配代价贡献不同的权重。为了评估每个选择视图的重要程度，匹配代价的置信度计算如下：

β是一个常数。
选择视图的权重定义为：

假设t-1次迭代最重要的视图v_t-1将继续对第t次迭代的视图选择产生影响。
所以更新上述权重：

I为指示器函数，I(true/false)=1/0。这种修改可以使视图选择方案更加健壮。
根据推导出的权值w’，定义假设h_i下像素点p的多视图聚合光度一致性代价为：

细化

在每次红黑迭代之后，使用一个细化步骤来丰富解空间的多样性。像素的当前深度和法线存在三个条件，即两者中的其中一个，两者都不，或者两者都接近最优解。参考论文Pixelwise view selection for unstructured multi-view stereo
因此，构建两个新的假设，其中一个是随机产生的，另一个是通过扰动当前估计得到的。
将新的深度和法线与当前的深度和法线结合起来，生成另外六个有待验证的新的假设。选择聚合代价最小的假设作为像素p的最终估计。

上述传播、视图选择和细化将重复多次，以获得I_ref的最终深度图。
最后，对最终的深度图应用大小为5x5的中值滤波器。

Multi-Scale Geometric Consistency（ACMM）

结合多尺度方案，ACMH在最粗尺度下对低纹理区域的深度进行了更可靠的估计。然而，当应用于优化更细的尺度的深度估计时，光度一致性会相对比较困难。所以作者应用几何一致性来处理这些估计的优化。

几何一致性引导

关键思想：源图像的上采样深度图可以几何约束这些估计不受光度一致性的干扰（几何一致性）
使用重投影误差来表明这种一致性
相机矩阵：

则从像素点p投射到三维点X

其中D为图像I_i下的坐标p的深度
则参考图像ref和源图像j在第i次假设下的重投影误差为

δ表示截断阈值，使重投影误差不受遮挡的影响
将光度一致性代价转换为几何一致性代价

λ是平衡两项权重的因子
具体：
在第l个尺度（l>0），使用联合双边上采样器将先前尺度的估计值传播到当前尺度，作为当前尺度的初始值执行ACMH。但是更改了代价计算公式，限制了当前假设更新的解空间，特别是在低纹理区域的假设更新。这保证了最粗尺度得到的低纹理区域的可靠估计可以传播到最细尺度。
此外，初始深度图会因为模糊和遮挡而产生噪声，光度一致性无法改正这些错误（深度变化大，代价变化小）所以在最粗尺度上执行几何一致性优化初始深度图。直观的说，如果对相邻深度图的估计更准确，则参考图像的深度图会得到进一步的提升。因此对每个尺度进行了两次几何一致性指导来细化深度图。

但是，多尺度的几何一致性往往会导致细节模糊，在较粗的尺度上，丢失的图像细节直接导致深度信息的丢失。此外，固定的patch窗口大小使得ACMH很难在低纹理区域和薄结构直接取得平衡，因为局部的平面假设并不适用于细节。此外，尽管上采样可以使将低纹理区域的可靠估计扩展到更大的区域，但它也带来了一些额外的细节误差。然而，在只有光度一致性时，这些细节可以在原始图像规模更好地估计。

使用光度一致性来纠正这些细节误差。

模糊的细节常常出现在薄结构或边界中
没有细节恢复的绝对误差图（直接上采样倒数第二个估计）

基本MVS的绝对误差图（直接对原尺度估计）

相邻尺度的光度一致性代价图可以在细节上放大这些误差，同时在低纹理区域抑制可靠估计的反射？
下图为相邻尺度光度一致性代价图的差异图

利用这个差异映射来详细的检测误差，并以统一的方式纠正
具体：
在对前一个尺度的估计（深度，法向）上采样之后，利用它们重新计算当前尺度的光度一致性代价C^l_init;然后执行基本的MVS模型，得到新的光度一致性代价C^l_photo。根据代价差值检测误差：

ξ为小常量，增强鲁棒，区分错误估计
错误的代价会被新的光度一致性代价取代
ACMM细节恢复：

融合