1. 研究问题
普通的局部立体匹配方法假设支持窗口内视差一致,存在正面平行的偏向,导致倾斜表面重建出现较大偏差。
2. 研究方法
基于PatchMatch,提出PatchMatch Stereo算法,首先为每个像素初始化一个倾斜视差平面,然后通过迭代的视差传播不断优化视差图,最后使用左右一致性检测、视差填充和加权中值滤波进行后处理。该方法还可以用于构建全局方法的数据项,并消除正面平行的偏向。
模型
PatchMatch推理视差平面
后处理
建立全局算法的数据项
可以用PatchMatch stereo建立全局算法的数据项,然后使用 α − e x p a n s i o n \alpha-expansion α−expansion算法进行全局优化,由于倾斜表面的使用,全局算法可以克服正面平行的误匹配。这部分没有怎么研究。
注:全局算法可以在优化过程中直接处理遮挡和无纹理问题。
3. 实验结果
局部算法
全局算法
4. 结论
(1)提出PatchMatch stereo局部算法,可以计算每个像素的视差平面,视差精度达到亚像素并且在Middlebury上表现优异。
(2)倾斜窗口可以用于构建全局全局算法的数据项,从而更好的处理遮挡问题。
5. 启发
PatchMatch可以有效的缩小视差搜索空间。