OpenCV双目视觉测距

步骤：

1.校准相机：首先，您需要通过拍摄一些校准图像来校准两个相机。校准图像可以是具有已知尺寸的平面或棋盘格图案。使用cv2.calibrateCamera()函数进行相机校准。

2.捕获图像：使用两个相机捕获两个不同视角的图像。您可以使用cv2.VideoCapture()函数在Python中从相机捕获视频。

3.特征匹配：使用特征匹配算法（例如SIFT，SURF或ORB）在两个图像之间找到共同的特征点。

4.计算基础矩阵：使用这些特征点计算基础矩阵，该矩阵可以用于估计两个相机之间的几何关系。使用cv2.findFundamentalMat()函数来计算基础矩阵。

5.计算本质矩阵：使用相机内部参数和基础矩阵计算本质矩阵。使用cv2.stereoCalibrate()函数来计算本质矩阵。

6.计算位移矩阵：使用cv2.stereoRectify()函数来计算视差校正和投影矩阵，并从中提取位移矩阵。

7.计算距离：最后，使用位移矩阵和三角剖分算法来计算两个摄像头之间的距离。

请注意，这只是OpenCV测量两个相机之间距离的一种方法，还有其他方法可以使用，具体取决于您的具体应用场景和需求。

以下是使用OpenCV进行双目视觉测距的基本代码示例：

import numpy as np
import cv2

# 捕获视频
cap1 = cv2.VideoCapture(0)
cap2 = cv2.VideoCapture(1)

# 设置相机参数
# 这里需要根据您的实际相机进行设置，例如分辨率和校准参数等
# 可以使用cv2.calibrateCamera()函数进行相机校准
K = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]])
D = np.array([k1, k2, p1, p2, k3])

# 定义SIFT特征提取器和FLANN特征匹配器
sift = cv2.xfeatures2d.SIFT_create()
flann_params = dict(algorithm=1, trees=5)
flann = cv2.FlannBasedMatcher(flann_params, {})

# 循环读取图像并计算距离
while True:
    # 读取图像
    ret1, img1 = cap1.read()
    ret2, img2 = cap2.read()
    if not ret1 or not ret2:
        break

    # 提取SIFT特征点并匹配
    kp1, des1 = sift.detectAndCompute(img1, None)
    kp2, des2 = sift.detectAndCompute(img2, None)
    matches = flann.knnMatch(des1, des2, k=2)

    # 选择最佳匹配
    good_matches = []
    for m, n in matches:
        if m.distance < 0.7 * n.distance:
            good_matches.append(m)

    # 计算基础矩阵
    points1 = np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    points2 = np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    F, mask = cv2.findFundamentalMat(points1, points2, cv2.FM_RANSAC)

    # 计算本质矩阵
    E = K.T.dot(F).dot(K)
    R1, R2, t = cv2.decomposeEssentialMat(E)

    # 计算位移矩阵
    R = np.eye(3)
    P1 = np.hstack((K, np.zeros((3, 1))))
    P2 = np.hstack((R2, t))
    _, _, _, _, _, R, t, _, _ = cv2.stereoRectify(K, D, K, D, img1.shape[:2], R, t, flags=cv2.CALIB_ZERO_DISPARITY)
    Q = np.float32([[1, 0, 0, -cx], [0, 1, 0, -cy], [0, 0, 0, f], [0, 0, -1/t[0], 0]])
    


    # 计算视差图
    gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
    gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
    stereo = cv2.StereoBM_create(numDisparities=16, blockSize=15)
    disparity = stereo.compute(gray1, gray2)

    # 将视差图转换为深度图
    depth = cv2.reprojectImageTo3D(disparity, Q)
    depth = depth[:, :, 2]

    # 计算距离
    # 这里假设您的摄像头距离物体的距离为1米
    # 如果您的实际情况不同，请根据您的实际情况进行修改
    scale_factor = 1.0 / depth.max()
    distance = depth * scale_factor

    # 显示图像和距离
    cv2.imshow('img1', img1)
    cv2.imshow('img2', img2)
    cv2.imshow('disparity', disparity / 16.)
    cv2.imshow('depth', depth)
    cv2.imshow('distance', distance)
    if cv2.waitKey(1) == 27:
        break

    # 释放资源
    cap1.release()
    cap2.release()
    cv2.destroyAllWindows()