论文阅读《PatchMatch Stereo - Stereo Matching with Slanted Support Windows》（PMS-双目立体匹配）

论文地址：PatchMatch Stereo - Stereo Matching with Slanted Support Windows

问题提出

  局部匹配方法在计算匹配代价中是基于Fronto Parallel Windows 进行的，而Fronto Parallel Windows 隐含两个假设：

1. 窗口内所有点在三维空间的深度相同。
2. 窗口内任意线段在核线像对（经立体校正后的图像对）的投影长度相等。
   但这样的假设在某些情况下是不合理的，如下图所示
   
     若窗口内的任意A、B两点在三维空间中处于同一个深度如图右侧所示，则A、B两点在左右视图上的投影点线段$a_1{b}_1=a_2{b}_2$，此时左视图支撑窗口中的所有点在右视图中都有一一对应的匹配点。此时计算出的匹配代价时可以正确反映真实的状况。
     若A、B点的深度不一致，则$a_1{b}_1\ne a_2{b}_2$,则该支撑窗口不能很好反应左右视图该点的匹配代价值。
   
     如原文中Figure 1(a)所示，绿线代表物体表面，红色线段表示窗口。P点的窗口符合Fronto Parallel Windows假设，当物体表面倾斜或者表面为曲面时，R点和S点是不符合该假设。Figure 1(b)为Slanted Support Windows，这样的倾斜窗口能更好贴合物体表面。此外，平行窗口基于整数视差计算匹配代价，然后基于一元二次拟合的方式得到亚像素精度的匹配代价，而倾斜窗口可以直接基于亚像素像素视差计算匹配代价，如Q点所示。
   
   
   从Figure2 可知：基于平行窗口计算的深度值会出现明显断层而基于倾斜窗口可以更好计算得到更平滑的深度值。

算法思想

  PatchMatchStereo的核心想法是为所有的像素点分别找到一个属于该像素的视差平面，用这个视差平面来计算该点的视差值,若像素点的坐标为$(p_x,p_y)$，则根据该点的视差平面方程来计算该点的视差值如式(1)所示。
$$d_p=a_{f_p}{p}_x+b_{f_p}{p}_y+c_{f_p}\text{\hspace{1em}(1)}$$
式中，$a_{f_p}、b_{f_p}、c_{f_p}$为视差平面的参数，立体匹配的目标从视差估计问题转换为了平面估计问题，为每个像素点找到最优视差平面，约束条件为聚合代价最小。聚合代价函数如式(2)所示：
f p = arg ⁡ min ⁡ f ∈ F { m ( p , f ) } (2) f_{p}=\underset{f \in F}{\arg \min } \{m(p, f)\}\tag 2 fp​=f∈Fargmin​{m(p,f)}(2)
式中，F为一个无边界的平面集合，$m(p,f)$表示视差平面为f时像素p的聚合代价。$m(p,f)$如式（3）所示：
$$m(p,f)=\sum _{q\in W_p}w(p,q)\cdot \rho \left(q,q-\left(a_f{q}_x+b_f{q}_y+c_f\right)\right)\text{\hspace{1em}(3)}$$
式中，$W_p$为以像素点p为中心的方形窗口，若使用于时序图像中，则$W_p$是一个3D窗口。$w(p,q)$是自适应权值，为了解决edge-fattening问题（视差非连续区域的边缘位置会出现一圈连续的错误匹配点，这样的点会让边缘扩大一圈）。其中，$w(p,q)$是用来衡量p点和q点在同一个平面的可能性，如式（4）所示：
$$w(p,q)=e^{-\frac{\Vert I_p-I_q\Vert }{\gamma }}\text{\hspace{1em}(4)}$$
式中，$\gamma$为超参数，$||I_p-I_q||$是p与q像素在颜色空间的L1距离（|r-r|+|g-g|+|b-b|），若两点的颜色差异越大，则两点处于同一平面的可能性更小。
式3中的$\rho$函数用于衡量两个像素间的不相似性。若左视图中q的视差平面方程为$(a_f,b_f,c_f)$，则其视差值为$d_q=a_f{p}_x+b_f{q}_y+c_f$,右视图对应的同名点$q_{{}^{\prime }}=q-d_q$,则p与q的不相似度计算如式（5）所示：
$$\rho \left(q,q^{\prime }\right)=(1-\alpha )\cdot \min \left(||I_q-I_{q^{\prime }}\Vert ,{\tau }_{col}\right)+\alpha \cdot \min \left(\Vert \nabla I_q-\nabla I_{q^{\prime }}\Vert ,{\tau }_{\text{grad }}\right)\text{\hspace{1em}(5)}$$
式（5）中， $||\nabla I_q-\nabla I_{q^{\prime }}||$为$q$点与$q^{\prime }$的梯度差的绝对值，两者的颜色差异越大，则梯度差越大，不相似度越大。$\alpha$为超参数，在颜色空间和梯度之间做一个平衡。
此外，根据式（1）得到的视差$d_q$为小数，则通过$q_{{}^{\prime }}=q-d_q$计算得到的$q^{\prime }$为小数，颜色值$I_{q^{\prime }}$和颜色梯度值$\nabla I_{q^{\prime }}$需要使用线性插值得到。
式（5）中，${\tau }_{col}和{\tau }_{grad}$为截断参数，为了使代价值保持在一定范围内。

算法框架

  通过上面的分析，PatchMatchStereo目的是在无边界平面集里找到代价最小的视差平面，PMS借鉴了PatchMatch的思路，在自然图像中，一个有一定大小的像素块内所有的像素可以用一个平面来近似。这也是PMS的基本思想，一个图像可以看做是多个像素块，每个像素块拥有一个近似的视差平面，PMS的目的是招待所有像素块的视差平面。
PMS算法流程:

1、随机初始化

  为每个像素初始化一个视差平面，在视差范围内为每一个像素随机一个视差值$z_0$，则对于点$P(x_0,y_0.z_0)$所在的视差平面选取一个随机的单位法向量$\vec{n}=\left(n_x,n_y,n_z\right)$作为平面的法线。则有：
$$a_f=-\frac{n_x}{n_z}、b_f=-\frac{n_y}{n_z}、c_f=\frac{n_x{x}_0+n_y{y}_0+n_z{z}_0}{n_z}\text{\hspace{1em}(6)}$$若固定$\vec{n}=(0,0,1)$,则倾斜窗口退化为平行窗口，强制$z_0$为整数时，则退化为只能取整数视差值。

2、迭代传播

  迭代传播的目的是将随机的所有视差平面中的少数正确的视差平面传播到同一视差平面内的其他像素。迭代传播包含以下四个步骤：（1）空间传播（Spatial Propagation）（2）视图传播（View Propagation）（3）时序传播（Temporal Propagation）（4）平面优化（Plane Refinement）。在偶数迭代中，从左上角像素开始，以主行顺序遍历像素，直到到达右下角像素。在奇数迭代中，从右下角像素开始，然后在左上角停止。运行三次迭代。运行过程如下图所示：

（1）空间传播（Spatial Propagation）

  空间传播基于空间上相邻的像素可能具有相似的视差平面的假设。假设像素p所在的视差平面为$f_p$，检查p邻域内的像素q所在平面是否更适合p，即$m(p,f_q)\stackrel{?}{<}m(p,f_p)$,若成立，则将$f_q$更新为像素p的新平面。在偶数迭代中，考虑左相邻点和上相邻点，而在奇数迭代中，检查右相邻点和下相邻点。

（2）视图传播（View Propagation）

  视图传播基于同名点像素对具有相似的视差平面的假设。假设像素p所在的视差平面为$f_p$，p的同名点像素为$p^{\prime }$，$f_{p^{\prime }}$为$p^{\prime }$所在的视差平面转换为左视图坐标系后的平面，检查$m(p,f_{p^{\prime }})\stackrel{?}{<}m(p,f_p)$,若成立，则将$f_{p^{\prime }}$更新为像素p的新平面，其核心思想为：同名点之间的视差平面应该是一致的，如果不一致，那使用代价聚合最低的视差平面作为视差平面。

（3）时序传播（Temporal Propagation）

  时序传播仅用于视频序列的立体匹配，基于相邻帧的同一位置的像素可能具有相似的视差平面的假设。假设像素p所在的视差平面为$f_p$，前后帧相同位置点像素为$p^{\prime }$，$f_{p^{\prime }}$为$p^{\prime }$所在的视差平面，检查$m(p,f_{p^{\prime }})\stackrel{?}{<}m(p,f_p)$,若成立，则将$f_{p^{\prime }}$更新为像素p的新平面。

（4）随机分配

  平面优化是为了通过优化视差平面$f_p$的参数进一步减少像素p的聚合代价$m(p,f_p)$，其核心思想是在已有的视差平面向量的参数基础上，在设定的搜索空间中使用二分查找，查找更好的法向量来更新当前的视差平面，步骤如下：

1. 将$f_p$平面方程转换为点和法向量的表达形式;
2. 设置两个参数${\Delta }_{z_0}^{\max }和{\Delta }_n^{\max }$。其中${\Delta }_{z_0}^{\max }$表示点$P(x_0,y_0,z_0)$的z坐标的可变范围，${\Delta }_n^{\max }$为法向量$\vec{n}$各分量的可变范围;
3. 初始值${\Delta }_{z0}^{\max }=\text{ maxdisp }/2$，（maxdisp为设置的最大视差值）、${\Delta }_n^{\max }=1$。
4. 当${\Delta }_{z0}^{\max }>0.1$执行循环。
5. 在$\left[-{\Delta }_{z0}^{\max },{\Delta }_{z0}^{\max }\right]$范围内随机生成1个值${\Delta }_{z_0}$加到$z_0$上，有：$z_0^{\prime }=z_0+{\Delta }_{z_0}$,得到新的点$P^{\prime }\left(x_0,y_0,z_0^{\prime }\right)$;
6. 在$\left[-{\Delta }_{z0}^{\max },{\Delta }_{z0}^{\max }\right]$范围内随机生成3个值$\overrightarrow{{\Delta }_n}$,计算新的法向量$\overrightarrow{n^{\prime }}=u\left(\vec{n}+\overrightarrow{{\Delta }_n}\right)$,$u$取单位向量。新的点$P^{\prime }$和新的法向量$\overrightarrow{n^{\prime }}$组成新的平面$f_{p^{\prime }}$，$m(p,f_{p^{\prime }})\stackrel{?}{<}m(p,f_p)$，若成立，则将$f_{p^{\prime }}$更新为像素p的新平面；
7. 设置${\Delta }_{z0}^{\max }={\Delta }_{z0}^{\max }/2、{\Delta }_n^{\max }={\Delta }_n^{\max }/2$，减小搜索空间，跳转到第5步。

3、后处理

  后处理操作包括一致性检查和视差填充。

1. 通过左右一致性检查进行咬合处理。对于每个像素$p$，计算其在另外一个视图的匹配点$p^{\prime }$，检查$|d_p-d_{p^{\prime }}|\le 1$,若不成立，则像素p无效。
2. 填充无效视差，对于一个无效的视差p，向左和向右侧搜索最近有效像素，记录两个点的平面$f^l$和$f^r$，分别用$f^l$和$f^r$来计算p点的视差值，选择视差值小的平面f作为p点的平面（选择较低视差的原因在于遮挡发生在背景处，选择离镜头比较近的点所在的平面来计算无效点的视差），该填充方案外推了平面，而不是像通常那样复制恒定的视差。因此，也可以在这个阶段正确地处理倾斜的表面。然而，该策略在视差图中生成水平条纹（因为只考虑了水平的方向来填充无效点）。为了减弱这个问题，我们对填充的视差应用加权中值滤波器。中值滤波器的权重掩模由等式（4）所示：
   $$w(p,q)=e^{-\frac{\Vert I_p-I_q\Vert }{\gamma }}$$
   $\gamma$和窗口大小和前面使用相同的设置。（时序信号使用3D加权中值滤波器），所有在左/右一致性检查中幸存的像素不受此操作的影响。后处理之前和之后的视差图如图下图所示：
   

小结

1. PatchMatchStereo区别于传统的立体匹配算法，模型不是直接估计视差而是估计该像素点所在的最优视差平面。
2. PatchMatchStereo具有两个优点：（1）可计算亚像素视差；（2）可以处理倾斜表面和较好地拟合曲面；
3. 由于需要迭代传播，算法时间复杂度较高，算法运行效率较低。