论文《PM-Huber: PatchMatch with Huber Regularization for Stereo Matching》学习

《PM-Huber：具有Huber正则化功能的PatchMatch用于立体声匹配》
2013 ICCV

Abstract

大多数立体声对应算法在整数值视差下匹配支持窗口，并在支持窗口内假定常量视差值。最近提出的PatchMatch立体声算法[7]通过直接估计平面克服了以前算法的局限性。这项工作提出了一种使用二次松弛将PatchMatch立体声算法集成到变分平滑公式中的方法。结果算法允许使用估计的平面参数对视差和法线梯度进行显式正则化。在Middlebury基准测试中对我们方法的评估表明，在亚像素精确视差估计中，我们的方法优于传统的整数值视差策略以及原始算法及其变体。

1.简介

大多数立体声匹配算法都是基于这样的假设，即匹配窗口内的像素共享相同的视差值。另外，非常经常地，仅离散的视差值被认为导致离散的深度层。这种简化模型得到广泛使用的原因之一是，对于更精确采样的视差进行的似然评估次数以及离散表面方向的包含很快变得难以处理。另一方面，要创建合理且精确的网格或点云，必须有准确的深度值。 Bleyer等人[7]结果表明，PatchMatch算法[4，5]可以使用倾斜的支持窗口来进行立体声匹配，这样，不仅可以为每个像素估计单个视差值，还可以进行完整的视差平面估计。 PatchMatch算法不会尝试离散似然函数的空间，而是依赖于随机采样和良好估计的传播。当在直接社区中传播良好的估算值时，这也会导致隐式平滑模型。但是，当传播错误或不可靠的估计时，隐式平滑也会导致问题。在立体情况下，此问题可能发生在同质的无纹理区域，具有重复结构和极端采样选择的区域，例如垂直于视图方向的法线。

为了缓解这些问题，最近提出了一种基于PatchMatch和粒子置信度传播相结合的显式平滑模型，该模型导致了PMBP算法[6]，与原始算法相比，结果得到了改善。我们提出了一种基于显式变分能量公式的算法，该算法结合了PatchMatch立体算法与视差和正态梯度的正则化，从而产生了子像素准确的视差图，从而改善了现有技术。我们的视差图非常适合创建点云，而不会离散化或伪造伪像，如图1所示。

1.1。贡献

在本文中，我们显示了经过整流的立体对中属于同一平面的场景点的投影与具有三个自由度的线性变换完全相关。这已经在[7]中针对视差空间中的平面进行了显示，并在以下内容中扩展到了经过完全校准和校正的立体摄像机的真实场景空间。

我们的主要贡献是使用二次松弛的PatchMatch算法的显式变分平滑度模型[12，17]。在[17，14]中，仅考虑了光流矢量和视差值的一阶导数，但是所提出的算法允许我们控制视差的一阶和二阶导数的平滑度。视差的二阶导数由PatchMatch算法估计的法线的梯度隐式确定。代替执行[17，14]中的详尽搜索来评估数据项，我们使用PatchMatch算法。对Middleiddle基准[15]的立体声对的拟议方法的评估表明，它在估计亚像素精确视差图方面是有效的。在撰写本文时，我们目前在约145种算法中的亚像素错误阈值0.5排名第一。

4.结论

我们提出了一种新方法，将PatchMatch算法的随机采样与显式变分平滑方法相结合，该方法可以控制视差和正梯度。我们的评估表明，我们在Middlebury基准测试中获得了非常好的亚像素结果，这使得我们的算法非常适合生成点云或网格。将来，我们希望将算法扩展到多视图，这可以使用公式（3）来完成。估计的法线对于深度图合并和多视图重建也可能有用。另外，我们想针对实时帧速率优化当前的GPU OpenCL实现。另外，已经计划了用于估计光流的修改版本。