【论文阅读】12-PatchMatch Stereo - Stereo Matching with Slanted Support Windows

论文解读参考链接

0 basic information

Bleyer M , Rhemann C , Rother C . PatchMatch Stereo - Stereo Matching with Slanted Support Windows[C]// British Machine Vision Conference 2011. 2011.

1 aims

1. 解决的问题：fronto-paralle window 不能表示 true surface
2. 创新点：

• slanted window
• ecah pixel—disparity plane estimate —patchmath ！！！
  patchmath参考论文：

“PatchMatch_A_Randomized_Correspondence_Algorithm_f”

2 method

• 实质： 每个像素对应的不同的视差平面，优化平面参数，最终得到像素对应的视差值
• 属于 local-matching
  

2.1 随机初始化

• 视差范围内初始化视差值d0–(px,py,d0)平面上一点
• 随机生成平面法向量n
• 平面参数初始化【由初始化的n 和（px,py,d0）计算得到】

2.2 逐像素迭代传播

1. 偶数次迭代，从图像左上角像素沿行方向传播至右下角像素；奇数次迭代则和偶数次迭代传播顺序相反，即从右下角像素沿行方向传播至左上角像素。
2. PMS共执行了3次迭代
3. 每次迭代，每个pixel采用3种方式的视差平面参数传播+ 平面参数优化
4. 视差平面参数传播的3种方式：
   （1） 空间传播（Spatial Propagation）
   邻域像素选择：

• In even iterations： we consider the left and upper neighbors, 偶数次迭代-左 & 上邻域像素
• whereas in odd iterations： the right and lower neighbors are checked，奇数次迭代-右&下 邻域像素
  （2）视图传播（View Propagation）
  （3）时序传播（Temporal Propagation）

5. 迭代过程，减小参数变化范围，并在范围内随机更新参数

2.3 平面优化

1. 关键： 优化视差平面参数，以减小像素p的聚合cost
2. 聚合cost:
   实质：考虑邻居像素的颜色一致性 & corresponding 像素的颜色一致性
   
   

w — 对应邻居像素与中心像素的相似性度量，作为权值，颜色一致性越强，权值越大

• rou：衡量两个像素的不相似性
• 截断参数的作用：让遮挡区的代价计算更加鲁棒（遮挡区的同名点梯度、梯度变化差异较大 ？？）

3. 迭代优化过程：

基于z0 && n ，在一定范围内随机更新迭代，使得累计误差减小 迭代的范围随着迭代的进行，逐渐二分减小，最终迭代终止的条件是：

2.4 一致性检查

左右视图同名点视差一致

2.5 视差填充

改进：避免单方向视差填充（左右方向） —加中值滤波（邻域内【若为时序，则领域为三维空间】有效视差加权传递）