PatchMatch笔记

关键词:

• slanted surfaces: 倾斜的平面
• fronto-parallel windows: ???
• remedy: 补救
• disparity: 视差图

对每一个像素都估计一个3D平面。所以这个方法的挑战就是找到一个最优的3d平面。当平面 \(f_p\) 被找到以后，就可以用下面的式子计算视差图。
\[ d_{p}=a_{f_{p}} p_{x}+b_{f_{p}} p_{y}+c_{f_{p}} \]
这里\((p_x, p_y)\)表示图像的坐标。

我们要找的平面满足下面的要求
\[ f_{p}=\underset{f \in \mathscr{F}}{\operatorname{argmin}} m(p, f) \]
黄金公式，patch match的重点:
\[ m(p, f)=\sum_{q \in W_{p}} w(p, q) \cdot \rho\left(q, q-\left(a_{f} q_{x}+b_{f} q_{y}+c_{f}\right)\right) \]

• 这里的\(w(p, q)\)通过看颜色来计算在平面上的可能性,如果颜色很近似的话就返回比较大的值。\(\left\|I_{p}-I_{q}\right\|\)计算的p和q在RGB空间的距离。

\[ w(p, q)=e^{-\frac{\left\|I_{p}-I_{q}\right\|}{\gamma}} \]

• 公式\(\rho\left(q, q^{\prime}\right)\)计算q和q‘的不相似度。

\[ \rho\left(q, q^{\prime}\right)=(1-\alpha) \cdot \min \left(\left\|I_{q}-I_{q}\right\|, \tau_{c o l}\right)+\alpha \cdot \min \left(\left\|\nabla I_{q}-\nabla I_{q^{\prime}}\right\|, \tau_{g r a d}\right) \]

这儿\(\left\|\nabla I_{q}-\nabla I_{q^{\prime}}\right\|\)表示灰度梯度的差异。

Inference via PatchMatch

然后我们来关注如何为每一个点找到一个3D平面。

首先先随机初始化一个平面。然后希望这个随机的初始化能让至少一个像素blah blah.

有一个传播的步骤会把这个平面传播到这个区域的其他像素。

我们引入了两种传播的四路：

• view propagation
• temporal propagation

最后有一个plane refinement step来算去最优平面。

随机初始化

我们首先会选择一个random disparity \(z_0\)， 然后会得到一个在随机平面上的点\(P = (x_0, y_0, z_0)\)， 然后计算这个平面的垂直向量 \(\vec{n}=\left(n_{x}, n_{y}, n_{z}\right)\)。
\[ a_{f} :=-\frac{n_{x}}{n_{z}}, b_{f} :=-\frac{n_{y}}{n_{z}} \text { and } c_{f} :=\frac{n_{x} x_{0}+n_{y} y_{0}+n_{z} z_{0}}{n_{z}} \]

• [ ] In addition, we can switch off sub-pixel precision by enforcing an integer-valued disparity for \(z_0\).

Iteration

• spatial propagation
• view propagation
• temporal propogation
• plane refinement

在每一次迭代中，我们从左上角的像素开始，然后以行为方向进行遍历，直道遍历到右下角的像素。

在基数(ODD)迭代中，我们 reverse the order.i.e. 从右下角开始遍历到左上角。

Spatial Propagation

• 思路: 这里认为在空间中领进的点很可能有一样的平面。

假设\(p\)是当前点，\(f_p\)是它的平面。

检查条件:
\[ m\left(p, f_{q}\right)<m\left(p, f_{p}\right) \]
如果上述的不等式为true, 则接受\(f_q\)作为\(p\)的新平面

• 在偶数次迭代中检车左上的邻居，在基数词迭代中检车右下的邻居

View Propagation

• 四路: 一个像素和它在另一张图的匹配点有可能有相似的平面。

我们检查在第二张图中所有跟当前像素\(p\)匹配的点。

If \(m\left(p, f_{p^{\prime}}\right)<m\left(p, f_{p}\right)\), we set \(f_{p} :=f_{p^{\prime}}\).

Temporal Propagation

这个传播只在stereo video sequences中使用。

• 四路:在连续帧中同一个帧可能会有相同的平面（小运动中更可能）。

If \(m\left(p, f_{p^{\prime}}\right)<m\left(p, f_{p}\right)\), we set \(f_{p} :=f_{p^{\prime}}\).

Plane Refinement

。。。

后处理

使用occlusion treatment via left/right consistency checking.

检查条件\(\left|d_{p}-d_{p^{\prime}}\right| \leq 1\)，如果不满足的话，像素\(p\)就是无效的。

这种一致性检查一般会使被遮挡的像素失效，对于错误的匹配也有效果。

对于一个失效的像素\(p\), 我们从左右搜索最近的有效点，两个平面\(f^l\), \(f^r\)被记录。然后把像素往两个平面上投，并计算disparity，然后选择不一致性比较低的。

• [ ] 思路：the fact that occlusion occurs at the background.

转载于:https://www.cnblogs.com/tweed/p/10883091.html