python 深度 视差 计算_python-窗口代价计算视差

一、窗口代价计算视差的的基本原理

二、实现NCC视差匹配方法

三、图像集

四、总结

一、窗口代价计算视差的的基本原理

立体匹配算法的原理：就是找出两张图像的对应关系，根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息和三维信息。

立体匹配算法的分类：全局匹配算法、局部匹配算法

局部立体匹配算法：又称基于窗口的方法或基于支持区域的方法，对图像集中每张图像的每个像素计算一个适合大小、形状和权重的窗口。然后对这个窗口内的视差值进行加权平均。理想的支持窗口应该完全覆盖弱纹理区域，并在窗口内深度连续。与全局立体匹配算法相似，通过优化一个代价函数的方法计算最佳视差。但是，在局部立体匹配算法的能量函数中，只有基于局部区域的约束数据项，没有平滑项。局部匹配算法仅利用某一点邻域的灰度、颜色、梯度等信息进行计算匹配代价，计算复杂度较低，大多实时的立体匹配算法都属于局部立体匹配的范畴，但局部立体匹配算法对低纹理区域、重复纹理区域、视差不连续和遮挡区域匹配效果不理想。

全局立体匹配算法： 主要是采用了全局的优化理论方法估计视差，建立一个全局能量函数，其包含一个数据项和平滑项，通过最小化全局能量函数得到最优的视差值。其中，图割(Graph cuts， GC)、置信传播(Belief Propagation，BP)、动态规划(Dynamic Programming,DP),粒子群算法(Particle Swarm Optimization,PSO)、遗传算法(Genetic Algorithm，GA)等优化算法都是常用的求解能量最小化的方法。

全局立体匹配算法一般用到的函数：

其中数据项

描述了匹配程度，平滑项

体现了定义场景的约束，C是匹配代价，P是不同两像素p和q视差的函数，一般称之为惩罚项(penalty)，当p点和q点视差不相等时，P>0，且与两者差值越大，P值越大。当p和q视差相等时，P=0。由于全局匹配算法在数学上是一个能量函数的优化问题，因此可以找到最优解。这个问题被证明在二维空间是NP困难的。因此，即使全局算法具有准确性较高的优点，其计算速度确非常慢，在实时性要求高的场合不适合使用全局立体匹配算法。

比较两种算法之间的差异：局部算法运算速度快，但是弱纹理、遮挡和视差不连续区域错误匹配率高。全局算法精度高&