PatchMatch匹配部分理解（一）

版权声明：本文为博主原创文章，未经博主允许不得转载。

一 总体介绍

非参数切块采样方法的核心要素是对一个图像区域中的所有切块进行重复搜索，以获得另一个图像区域中最相似的切块。换句话说，给定图像或区域A和B，在诸如Lp的切块距离度量下在B中找到与A中的切块最近邻的每个切块。我们将此映射称为最近邻场（NNF），在插图中是示意图。使用蛮力搜索来解决这个问题是昂贵的-- 图像和切块大小分别为M和m个像素。即使使用加速度方法，如近似最近邻和降维，这个搜索步骤仍然是非参数切块采样方法的瓶颈，阻止它们达到交互速度。此外，这些基于树的加速结构使用具有相对大的存储空间O（M），这限制了它们对高分辨率图像的应用。

图1 蛮力搜索示意图

为了有效地计算近似最近邻场，我们的新算法依赖于关于该问题的三个关键观察值：

1.1 Dimensionality of offset space.

第一，虽然切块空间的维度很大（m维），但它是稀疏分布的（O（M）个切块）。许多以前的方法通过使用树结构（例如，kd树，可以在 时间内搜索）和降维的方法（例如，PCA）来降低切块空间的维度以加速最近邻搜索。相比之下，我们的算法在2-D空间中搜索可能的切块偏移，从而实现更高的速度和存储效率

1.2 Natural structure of images.

第二，通常对每个像素的独立搜索忽略了图像中的自然结构。在切块采样合成算法中，输出通常包含来自输入的大量连续的数据块。因此，我们可以通过相互依赖的方式执行对相邻像素的搜索以提高效率。

1.3 The law of large numbers.

第三，虽然任何一个随机选择的切块分配都不太可能是一个很好的猜测，但是大量随机分配的一些重要部分可能是很好的猜测。随着该范围变大，具有正确偏移的切块可能性变得很大。

1.4 本文算法

提出了一种使用增量更新的计算近似NNF的随机算法。该算法从初始猜测开始，该初始猜测可以从先验信息导出也可以是简单地是随机场。迭代过程包括两个阶段：
传播，在传播过程中使用相干性来传播场中相邻像素的良好解；
随机搜索，在这个过程中当前偏移向量受到多个随机偏移量的影像。
（吹）
从理论和经验上都表明，该算法对于高达2MP的测试图像具有良好的收敛特性，并且在CPU上实现我们的方法与使用PCA的kd-树相比速度快了20-100倍。此外，在相同大小的图像上，我们提出的GPU实现方案大约比CPU版本快7倍。在原始图像之外我们的算法只需要很少的额外内存，这与之前构建辅助数据结构以加速搜索的算法不同。使用我们算法的默认参数设置，运行时为O（mM logM），内存使用率为O（M）。尽管这与最有效的基于树的加速技术具有相同的渐近时间和存储率，但是主要常数实质上更小。

二 加权最近邻算法

我们系统的核心是计算切块对应关系的算法。我们将最近邻域（NNF）定义为函数 ，对于两个切块D之间的一些距离函数，在图像A中的所有可能的切块坐标（贴片中心的位置）上定义的偏移。在图像A中给定贴片坐标a和在图像B中的其对应的最近邻居b，f（a）直接就是b-a。我们将f的值称为偏移量，并将它们存储在一个维数为A的数组中。
本节介绍一种计算近似NNF的随机算法。注意，促进这种算法的关键是我们在可能的偏移空间中搜索，相邻的偏移搜索作为协作，并且即使是随机偏移也可能是对大图像上的许多切块的良好猜测。
该算法有三个主要组成成分，如图2所示。最初，最近邻域填充了随机偏移或一些先验信息。接下来，将迭代更新过程应用于NNF，其中将良好的块偏移被传播到相邻像素，然后在邻域中进行随机搜索直到找到最佳偏移为止。

图2 随机最近邻居算法的阶段示意：（a）最初切块具有随机分配；（b）蓝色切块检查上方/绿色和左/红色邻居，看看它们是否会改善蓝色映射，传播好的匹配；（c）切块随机搜索用于同心邻域的改进。

图3 收敛说明。（a）仅使用来自底部图像的切块来重建顶部图像。（b）上面一行：通过第4节中描述的切块“投票”进行重建，下面一行：随机初始化偏移场，其大小可视化为饱和度，角度可视化为色调。（c）通过第一次迭代进行到1/4处，高质量偏移已经在当前扫描线上方的区域中传播（用水平条表示）。（d）通过第一次迭代进行到3/4。（e）第一次迭代完成。（f）两次迭代。&#x