NCC视差匹配

最新推荐文章于 2022-06-14 21:34:10 发布

yfyttgft

最新推荐文章于 2022-06-14 21:34:10 发布

阅读量327

点赞数

本文链接：https://blog.csdn.net/yfyttgft/article/details/105771043

版权

本文详细介绍了如何通过计算图像间的像素差获取深度信息，包括视差图的概念及其与深度图的关系，立体匹配算法原理，以及局部和全局立体匹配算法的区别。同时，深入探讨了NCC算法在图像匹配中的应用，提供了实验代码并分析了不同窗口大小对匹配精度的影响。

摘要由CSDN通过智能技术生成

实验原理

视差图计算

深度信息可以通过计算1幅图像和其它图像的特征位置的像素差获得。视差图和深度图很像，因为视差大的像素离摄像机近，而视差小的像素离摄像机远。按以米为单位来计算摄像机距物体多远需要额外的计算。
立体匹配算法的原理
立体匹配算法的原理：就是找出两张图像的对应关系，根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息和三维信息。
局部立体匹配算法：又称基于窗口的方法或基于支持区域的方法，对图像集中每张图像的每个像素计算一个适合大小、形状和权重的窗口。然后对这个窗口内的视差值进行加权平均。理想的支持窗口应该完全覆盖弱纹理区域，并在窗口内深度连续。通过优化一个代价函数的方法计算最佳视差。
全局立体匹配算法：主要是采用了全局的优化理论方法估计视差，建立一个全局能量函数，其包含一个数据项和平滑项，通过最小化全局能量函数得到最优的视差值。对低纹理区域、重复纹理区域、视差不连续和遮挡区域匹配效果不理想。

Ncc

NCC，顾名思义，就是用于归一化待匹配目标之间的相关程度，注意这里比较的是原始像素。通过在待匹配像素位置p（px，py）构建3*3邻域匹配窗口，与目标像素位置p’(px+d,py）同样构建邻域匹配窗口的方式建立目标函数来对匹配窗口进行度量相关性，注意这里构建相关窗口的前提是两帧图像之间已经校正到水平位置，即光心处于同一水平线上，此时极线是水平的，否则匹配过程只能在倾斜的极线方向上完成，这将消耗更多的计算资源。
计算公式：
在这里插入图片描述

实验代码

# coding=utf-8
from PIL import Image
from pylab import *
from numpy import *
from numpy.ma import array
from scipy.ndimage import filters
def plane_sweep_ncc(im_l,im_r,start,steps,wid):
    """ 使用归一化的互相关计算视差图像 """
    m,n = im_l.shape
    # 保存不同求和值的数组
    mean_l = zeros((m,n))
    mean_r = zeros((m,n))
    s = zeros((m,n))
    s_l = zeros((m,n))
    s_r = zeros((m,n))
    # 保存深度平面的数组
    dmaps = zeros((m,n,steps))
    # 计算图像块的平均值
    filters.uniform_filter(im_l,wid,mean_l)
    filters.uniform_filter(im_r,wid,mean_r)
    # 归一化图像
    norm_l = im_l - mean_l
    norm_r = im_r - mean_r
    # 尝试不同的视差
    for displ in range(steps):
        # 将左边图像移动到右边，计算加和
        filters.uniform_filter(np.roll(norm_l, -displ - start) * norm_r, wid, s) # 和归一化
        filters.uniform_filter(np.roll(norm_l, -displ - start) * np.roll(norm_l, -displ - start), wid, s_l)
        filters.uniform_filter(norm_r*norm_r,wid,s_r) # 和反归一化
        # 保存 ncc 的分数
        dmaps[:,:,displ] = s / sqrt(s_l * s_r)
        # 为每个像素选取最佳深度
    return np.argmax(dmaps, axis=2)

def plane_sweep_gauss(im_l,im_r,start,steps,wid):
 """ 使用带有高斯加权周边的归一化互相关计算视差图像 """
 m,n = im_l.shape
 # 保存不同加和的数组
 mean_l = zeros((m,n))
 mean_r = zeros((m,n))
 s = zeros((m,n))
 s_l = zeros((m,n))
 s_r = zeros((m,n))
 # 保存深度平面的数组
 dmaps = zeros((m,n,steps))
 # 计算平均值
 filters.gaussian_filter(im_l,wid,0,mean_l)
 filters.gaussian_filter(im_r,wid,0,mean_r)
 # 归一化图像
 norm_l = im_l - mean_l
 norm_r = im_r - mean_r
 # 尝试不同的视差
 for displ in range(steps):
     # 将左边图像移动到右边，计算加和
     filters.gaussian_filter(np.roll(norm_l, -displ - start) * norm_r, wid, 0, s) # 和归一化
     filters.gaussian_filter(np.roll(norm_l, -displ - start) * np.roll(norm_l, -displ - start), wid, 0, s_l)
     filters.gaussian_filter(norm_r*norm_r,wid,0,s_r) # 和反归一化
     # 保存 ncc 的分数
     dmaps[:,:,displ] = s / np.sqrt(s_l * s_r)
 # 为每个像素选取最佳深度
 return np.argmax(dmaps, axis=2)

im_l = array(Image.open(r'F:\Pictures\one/1.png').convert('L'), 'f')
im_r = array(Image.open(r'F:\Pictures\one/2.png').convert('L'),'f')
# 开始偏移，并设置步长
steps = 12
start = 4
# ncc 的宽度
wid = 9
res = plane_sweep_ncc(im_l,im_r,start,steps,wid)
import scipy.misc
scipy.misc.imsave('depth.png',res)
show()

实验结果

在这里插入图片描述
wid=3

wid=9
在这里插入图片描述
wid=30

结果分析

窗口值过小时，匹配代价区分度过低，在在弱纹理区域容易出现误匹配，匹配精度降低；随着窗口值增大，匹配区分度逐渐清晰，误匹配区域得到矫正，匹配精度随着窗口值增大而变高。但当窗口值过大时，复杂的纹理区域容易出现错误匹配，因此窗口值的大小应适中。窗口值与匹配精度呈开口向下的抛物线关系，窗口值过高过低都会降低匹配精度。NCC算法的优点是抗白噪声干扰能力强，且在灰度变化及几何畸变不大的情况下匹配精度很高。