计算机视觉——nnc算法视差计算

一、ncc算法

ncc，又称归一化互相关算法
对于原始的图像内任意一个像素点(px,py)(p_x,p_y)(px ,py)构建一个n×n的邻域作为匹配窗口。然后对于目标相素位置(px+d,py)(p_x+d, p_y)(px+d,py)同样构建一个n×n大小的匹配窗口，对两个窗口进行相似度度量，注意这里的d有一个取值范围。对于两幅图像来说，在进行NCC计算之前要对图像处理，也就是将两帧图像校正到水平位置，即光心处于同一水平线上，此时极线是水平的，否则匹配过程只能在倾斜的极线方向上完成，这将消耗更多的计算资源。
NCC的计算公式：

算法过程

1、采集图像：通过标定好的双目相机采集图像，当然也可以用两个单目相机来组合成双目相机。（标定方法下次再说）
2、极线校正：校正的目的是使两帧图像极线处于水平方向，或者说是使两帧图像的光心处于同一水平线上。通过校正极线可以方便后续的NCC操作。
由标定得到的内参中畸变信息中可以对图像去除畸变，在OpenCV中有函数对去畸变做了实现
通过校正函数校正以后得到相机的矫正变换R和新的投影矩阵P，接下来是要对左右视图进行去畸变，并得到重映射矩阵。
根据上述得到的重映射参数map1,map2，我们需要进一步对原始图像进行重映射到新的平面中才能去除图像畸变。
通过上述两步操作，我们成功地对图像去除了畸变，并且校正了图像极线。注意，在立体校正阶段需要设置alpha = 0才能完成对图像的裁剪，否则会有黑边。
3、特征匹配：这里便是我们利用NCC做匹配的步骤啦，匹配方法如上所述，右视图中与左视图待测像素同一水平线上相关性最高的即为最优匹配。完成匹配后，我们需要记录其视差d，即待测像素水平方向xl与匹配像素水平方向xr之间的差值d = xr - xl，最终我们可以得到一个与原始图像尺寸相同的视差图D。

二、实现过程

实验代码

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from numpy import *
from numpy.ma import array
from scipy.ndimage import filters
def plane_sweep_ncc(im_l,im_r,start,steps,wid):
    """ 使用归一化的互相关计算视差图像 """
    m,n = im_l.shape
    # 保存不同求和值的数组
    mean_l = zeros((m,n))
    mean_r = zeros((m,n))
    s = zeros((m,n))
    s_l = zeros((m,n))
    s_r =