【论文阅读】12-PatchMatch Stereo - Stereo Matching with Slanted Support Windows
0 basic information
Bleyer M , Rhemann C , Rother C . PatchMatch Stereo - Stereo Matching with Slanted Support Windows[C]// British Machine Vision Conference 2011. 2011.
1 aims
- 解决的问题:fronto-paralle window 不能表示 true surface
创新点
:
- slanted window
- ecah pixel—disparity plane estimate —patchmath !!!
patchmath参考论文:
“PatchMatch_A_Randomized_Correspondence_Algorithm_f”
2 method
- 实质: 每个像素对应的不同的视差平面,优化平面参数,最终得到像素对应的视差值
属于 local-matching
2.1 随机初始化
- 视差范围内初始化视差值d0–(px,py,d0)平面上一点
- 随机生成平面法向量n
- 平面参数初始化【由初始化的n 和(px,py,d0)计算得到】
2.2 逐像素迭代传播
- 偶数次迭代,从图像左上角像素沿行方向传播至右下角像素;奇数次迭代则和偶数次迭代传播顺序相反,即从右下角像素沿行方向传播至左上角像素。
- PMS共执行了3次迭代
- 每次迭代,每个pixel采用3种方式的视差平面参数传播+ 平面参数优化
- 视差平面参数传播的3种方式:
(1) 空间传播(Spatial Propagation)
邻域像素选择:
- In even iterations: we consider the left and upper neighbors, 偶数次迭代-左 & 上邻域像素
- whereas in odd iterations: the right and lower neighbors are checked,奇数次迭代-右&下 邻域像素
(2)视图传播(View Propagation)
(3)时序传播(Temporal Propagation)
- 迭代过程,减小参数变化范围,并在范围内随机更新参数
2.3 平面优化
- 关键: 优化视差平面参数,以减小像素p的聚合cost
- 聚合cost:
实质:考虑邻居像素的颜色一致性 & corresponding 像素的颜色一致性
w — 对应邻居像素与中心像素的相似性度量,作为权值,颜色一致性越强,权值越大
- rou:衡量两个像素的不相似性
- 截断参数的作用:让遮挡区的代价计算更加鲁棒(遮挡区的同名点梯度、梯度变化差异较大 ??)
- 迭代优化过程:
基于z0 && n ,在一定范围内随机更新迭代,使得累计误差减小 迭代的范围随着迭代的进行,逐渐二分减小,最终迭代终止的条件是:
2.4 一致性检查
左右视图同名点视差一致
2.5 视差填充
改进:避免单方向视差填充(左右方向) —加中值滤波(邻域内【
若为时序,则领域为三维空间
】有效视差加权传递)