PatchMatch立体匹配（二）

版权声明：本文为博主原创文章，未经博主允许不得转载。

摘要

本博文来自对《PatchMatch Stereo_stereo matching with slanted support windows》文章的翻译，辅之个人的理解。
算法解决的主要问题是：1、恒定视差的隐含假设不适用于倾斜表面并且该假设导致倾向于重建前平行表面；2、这种方法的主要困难是在无限数量的所有可能平面中找到像素的最佳3D平面。
算法的思想是：将PatchMatch 扩展到根据一个平面找到近似最近邻居。除了PatchMatch的空间传播方案，提出（1）视图传播，其中平面在立体图像对的左视图和右视图之间传播；（2）视频帧的时间传播，当进行跨帧的立体匹配时，平面在视频的前一帧和连续帧传播之间。自适应支持权重用于匹配代价聚合以改善视差不连续边界处的结果。并且倾斜支撑窗口可用于计算全局立体方法的匹配代价量，这允许显式处理遮区域并且可以处理大的弱纹理区域。

一 算法思想

在局部立体匹配中，支撑窗口以参考图像的像素为中心。然后在第二图像中移位该支撑窗口以找到最低颜色差异像素点，其表示匹配点。在该过程中存在隐含的假设，即支撑窗口内的所有像素具有恒定的视差。实际上，这种假设不太可能的原因有两个。
（1）支撑窗口包含位于与中心像素不同的表面上的像素。
（2）窗口捕获倾斜的表面，即不是平行的。
本算法对问题（2）进行研究。
图1a说明了这个问题。标准局部算法在离散的视差下应用前平行窗口来重建图1a的四个点。在例子中，只能找到点P的一个最佳支撑，其中表面段与全值视差$d=1$处的前平行平面重合。注意，这种情况在实践中是不太可能的。对于所有其他情况，该方法未能找到最佳支撑，因为表面切割位于亚像素差异（Q），该点位于倾斜平面（R）或圆形（S）上。算法的补救措施是在投影支撑区域上的每个像素上计算单个3D平面。图1b显示出该方法能显着改善支撑区域。例如，可以对P，Q和R的最佳支持建模。在S点，平面模型表示真实圆形表面形状的过度简化。然而，即使在这种情况下，平面近似也能很好地工作（例如，参见图2c中的球）。图2说明了算法对于由几个高度倾斜的表面组成的走廊区域图像对的优势。在图2b中，产生的三维重建相对较差，因为单个倾斜表面由几个前平行表面近似（地板，天花板和墙壁）。相比之下，倾斜支撑窗口以亚像素精度正确地重建了这些倾斜表面（图2c）。

图1 支撑区域（1D）。绿色表面的点应该被重建。支撑区域用红色条表示。（a）标准方法中使用的整数级视差的前平行窗口。（b）我们提出的支撑区域。我们估计每个点的3D平面。

图2 我们的方法的优势。（a）走廊图像对的左图和地面真值差异。（b）用前平行窗口计算的视差图通过许多前平行窗口近似倾斜表面。（c）我们的倾斜支撑窗正确地将场景重建为倾斜平面的集合。

二 算法模型

对于两个帧的每个像素p，我们搜索平面 $f_p$。我们计算左右视差图，因为与大多数其他局部方法一样，我们通过左/右一致性检查执行遮挡处理。一旦找到$f_p$ ，我们就可以将p的视差计算为

)
其中 ，$a_{f_p}$，$b_{f_p}$和$c_{f_p}$是平面$f_p$ 的三个参数，$p_x$和$p_y$表示p的x和y坐标。我们希望找到的平面$f_p$是所有可能平面中最小的聚合匹配代价之一：

其中$F$表示无限大的所有平面的集合。请注意，这个无限标签空间阻止简单地检查所有可能的标签，就像在标准局部立体匹配中那样标签对应于离散的视差值。根据平面f用于匹配像素p的代价聚合计算为

这里，Wp表示以像素p为中心的方形窗口。对于视频帧立体匹配的情况下，Wp不再是2D，而是3D窗口，其中第三维由视频序列的前帧和连续帧的像素形成。权重函数w（p，q）被用于克服边缘不连续问题并实现自适应支持权重思想。它通过查看像素的颜色来计算p和q位于同一平面上的可能性，即如果颜色相似则返回高值：

这里，γ是用户定义的参数，|| Ip – Iq || 计算RGB空间中p和q颜色的L1距离。函数可以看作是中提出的加权函数的简化形式。等式（3）的第二部分。这里，根据平面f计算q的视差，并通过从q的x坐标减去该视差来导出另一视图中的q匹配点q’。函数$\rho (q,q^{\prime })$现在计算q和q’之间的像素差异：

其中$\Vert \nabla I_q-\nabla I_{q^{\prime }}\Vert$ 表示在q和q’处的灰度值梯度的绝对差值。由于q’的x坐标位于连续域中，因此通过线性插值得出其颜色和梯度值。用户定义的参数α平衡颜色和梯度项的影响。参数${\tau }_{col}$ 和 ${\tau }_{grad}$截断了遮挡区域中鲁棒性的代价。由于使用了梯度该方法具有处理输入图像中的辐射度差异的优点。

三 算法框架

3.1 Random Initialization

给两个视图中的每个像素分配一个随机平面。原则上，通过将随机值直接分配给平面f的三个参数 $a_f$，$b_f$