SGBM立体匹配算法测试公开测试图像，得到深度视差图，用的middlebury公开数据

SGBM立体匹配算法测试公开测试图像，得到深度视差图，用的middlebury公开数据，网址是https://vision.middlebury.edu/stereo/data/，可以得到深度视差图，这个网站公开数据时，会给出相机参数，我在程序里把这些参数加上了，首先获取这些参数，然后设置图像尺寸，经过立体校正、重映射畸变矫正，根据需求修改BM算法参数，最后归一化得到深度视差图。

下面的两张图像，分别是middlebury网站公开的左右目图像，

cam0=[1733.74 0 792.27; 0 1733.74 541.89; 0 0 1]
cam1=[1733.74 0 792.27; 0 1733.74 541.89; 0 0 1]
doffs=0
baseline=536.62
width=1920
height=1080
ndisp=170
vmin=55
vmax=142

上面这个是middlebury公开的一些参数，我们可以和SGBM算法结合。得到深度视差图：

附上代码：
 

import cv2
import numpy as np
import cv2.ximgproc as ximgproc

# 相机内参矩阵
left_camera_matrix = np.array([[1733.74, 0, 792.27],
                               [0, 1733.74, 541.89],
                               [0, 0, 1]])
right_camera_matrix = np.array([[1733.74, 0, 792.27],
                                [0, 1733.74, 541.89],
                                [0, 0, 1]])

# 假设畸变系数为零
left_distortion = np.zeros((1, 5))
right_distortion = np.zeros((1, 5))

# 图像尺寸
size = (1920, 1080)

# 立体校正（在这个例子中，我们假设R和T已经是校正后的，因此直接使用单位矩阵和零向量）
R = np.eye(3)
T = np.array([[536.62], [0], [0]])  # 假设摄像头沿x轴平行排列，且baseline为536.62mm

# 立体校正
R1, R2, P1, P2, Q, validPixROI1, validPixROI2 = cv2.stereoRectify(left_camera_matrix, left_distortion,
                                                                  right_camera_matrix, right_distortion, size, R, T)

# 校正查找映射表
left_map1, left_map2 = cv2.initUndistortRectifyMap(left_camera_matrix, left_distortion, R1, P1, size, cv2.CV_16SC2)
right_map1, right_map2 = cv2.initUndistortRectifyMap(right_camera_matrix, right_distortion, R2, P2, size, cv2.CV_16SC2)

# 直接加载左右图像
imgL = cv2.imread("img0.png", cv2.IMREAD_GRAYSCALE)
imgR = cv2.imread("img1.png", cv2.IMREAD_GRAYSCALE)

# 重映射畸变矫正
imgL = cv2.remap(imgL, left_map1, left_map2, cv2.INTER_LINEAR)
imgR = cv2.remap(imgR, right_map1, right_map2, cv2.INTER_LINEAR)

# 转换为opencv的BGR格式
imgL = cv2.cvtColor(imgL, cv2.COLOR_GRAY2BGR)
imgR = cv2.cvtColor(imgR, cv2.COLOR_GRAY2BGR)

# 设置SGBM参数
blockSize = 3
img_channels = 3
stereo = cv2.StereoSGBM_create(minDisparity=0,
                               numDisparities=128,
                               blockSize=blockSize,
                               P1=8 * img_channels * blockSize * blockSize,
                               P2=32 * img_channels * blockSize * blockSize,
                               disp12MaxDiff=-1,
                               preFilterCap=63,
                               uniquenessRatio=10,
                               speckleWindowSize=100,
                               speckleRange=1,
                               mode=cv2.STEREO_SGBM_MODE_SGBM_3WAY)

# 计算视差
disparity = stereo.compute(imgL, imgR)

disp = cv2.normalize(disparity, disparity, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U)

# 显示视差图
cv2.imshow('Disparity Map', disp)
cv2.waitKey()
cv2.destroyAllWindows()

总体效果看着还不错。

这是用的middlebury公开测试图像，官方给了相关参数，如果想用自己双目相机拍摄的图像，自己相机标定的参数请看我上一篇。