【图像处理】基于双目立体匹配的景深计算（Matlab代码实现）

 👨‍🎓个人主页：研学社的博客    

💥💥💞💞欢迎来到本博客❤️❤️💥💥

🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。

⛳️座右铭：行百里者，半于九十。

📋📋📋本文目录如下：🎁🎁🎁

目录

💥1 概述

1. 双目相机标定

2. 图像预处理

3. 特征提取与匹配

4. 视差计算

5. 深度图生成与校正

6. 景深计算

7. 误差分析与优化

应用领域

📚2 运行结果

🎉3 参考文献

🌈4 Matlab代码实现

---

💥1 概述

双目立体匹配一直是双眼视觉的研究热点。双目相机捕获同一场景的左右视点图像，使用立体匹配匹配算法获得视差图和深度图。

流程：

首先导入左右图像，并设置合理的搜索窗口和模板大小。以每个像素为中心，并使用固定大小的像素作为模板。假设相机已被校正，因此它仅水平搜索。在搜索窗口中连续移动左侧图像模板，以计算左侧和右侧模板的成本。获得成本后，通过累积像素信息来提高结果的信噪比，即成本聚合过程。这里我们优化窗口中最小生成值的坐标，并使用抛物线拟合来更新视差值。最后，对得到的视差图进行细化（使用中值滤波器），以消除视差图中产生的部分噪声。

基于双目立体匹配的景深计算是一种利用两台相机捕捉同一场景的两个视角，通过匹配两个图像中的同一物体点，计算出物体的三维深度信息的方法。以下是一个基本的步骤介绍：

1. **图像采集**：使用两台相机（通常安装在固定的基线距离上）捕捉同一场景的左视图和右视图。

2. **图像校正**：对捕捉到的图像进行校正，以消除相机畸变和其他几何误差，使得两幅图像在同一平面上。

3. **特征提取与匹配**：从左视图和右视图中提取特征点，使用特定算法（如SIFT, SURF, ORB等）进行匹配，找到两幅图像中对应的点对。

4. **视差计算**：通过匹配的点对计算视差，即对应点在左视图和右视图中的水平偏移量。

5. **深度计算**：根据视差和相机的基线距离，利用三角测量公式计算每个匹配点的深度信息：
   
   \[
   \text{Depth} = \frac{f \times B}{\text{Disparity}}
   \]

   其中，\( f \) 是相机的焦距，\( B \) 是两相机之间的基线距离，\(\text{Disparity}\) 是视差。

6. **景深图生成**：将每个匹配点的深度值映射到图像上，生成景深图（depth map）。

请根据实际的相机参数和图像数据调整基线距离和焦距等参数。这段代码可以帮助你快速实现一个基本的双目立体匹配和景深计算的原型。

【图像处理】基于双目立体匹配的景深计算研究，主要探索如何利用双目相机系统获取的两幅视差图像来进行精确的景深计算。景深是指在图像中能够清晰成像的最近点到最远点的距离范围，是衡量图像空间层次感的重要指标。下面是该研究的关键技术和流程：

1. 双目相机标定

• 在进行立体匹配前，首先必须对双目相机系统进行精确标定，获得相机的内部参数（如焦距、光心位置等）和外部参数（即两相机间的相对位置和姿态）。常用标定方法包括 Zhang 标定法等，通过拍摄一系列带有已知图案（如棋盘格）的照片来求解参数。

2. 图像预处理

• 为了提高匹配精度，需对采集到的图像进行预处理，包括灰度化、降噪、亮度和对比度调整等操作，以去除不必要的干扰因素。

3. 特征提取与匹配

• 在两幅图像中分别提取特征点，如 SIFT、SURF 或 ORB 等，然后进行特征点的匹配。现代方法更倾向于使用深度学习技术直接进行像素级或区域级的匹配，以获得更稠密的匹配点。

4. 视差计算

• 基于匹配好的特征点对计算视差图。传统的块匹配算法、半全局匹配（SGM）、极线约束等方法是常用的选择。近年来，深度学习方法，如利用卷积神经网络直接从图像对中预测密集视差图，也在这一领域展现出强大潜力。

5. 深度图生成与校正

• 将视差图通过几何关系转换为深度图，其中每个像素的值代表了该点到相机的距离。还需进行深度图的校正，如填充孔洞、去除异常值、平滑处理等，以提高后续计算的准确性。

6. 景深计算

• 利用深度图信息，结合光圈大小、焦距和拍摄距离等参数，计算景深范围。一种基本方法是确定聚焦平面上的最近清晰点和最远清晰点，这两个点到相机的距离定义了景深范围。复杂场景下，还需考虑物体尺寸、距离等因素进行更细致的计算。

7. 误差分析与优化

• 分析并评估由匹配错误、深度不连续、图像失真等因素引起的误差，采取滤波算法、多视图融合、深度学习优化匹配策略等方法减少误差，提高景深计算的精度。

应用领域

本研究在摄影、虚拟现实（VR）、增强现实（AR）、机器人导航、自动驾驶汽车等领域具有重要应用价值。通过精确的景深计算，可以提升图像的真实感和交互体验，促进三维空间感知和场景理解能力的发展。

📚2 运行结果

主函数部分代码：

clc;
clear;

%% 加载2张立体图像
left = imread('iml1545.jpg');
right = imread('imr1545.jpg');
sizeI = size(left);

% 显示复合图像
zero = zeros(sizeI(1), sizeI(2));
channelRed = left(:,:,1);
channelBlue = right(:,:,3);
composite = cat(3, channelRed, zero, channelBlue);

figure(1);
subplot(2,3,1);
imshow(left);
axis image;
title('左图');

subplot(2,3,2);
imshow(right);
axis image;
title('右图');

subplot(2,3,3);
imshow(composite);
axis image;
title('重叠图');

%% 基本的块匹配

% 通过估计子像素的块匹配计算视差
disp('运行基本的块匹配~');

% 启动定时器
tic();

% 平均3个颜色通道值将RGB图像转换为灰度图像
leftI = mean(left, 3);
rightI = mean(right, 3);


% SHD
%  bitsUint8 = 8;
% leftI = im2uint8(leftI./255.0);
% rightI = im2uint8(rightI./255.0);


% DbasicSubpixel将保存块匹配的结果，元素值为单精度32位浮点数
DbasicSubpixel = zeros(size(leftI), 'single');

% 获得图像大小
[imgHeight, imgWidth] = size(leftI);

% 视差范围定义离第1幅图像中的块位置多少像素远来搜索其它图像中的匹配块。
disparityRange = 50;

% 定义块匹配的块大小
halfBlockSize = 5;
blockSize = 2 * halfBlockSize + 1;

% 对于图像中的每行（m）像素
for (m = 1 : imgHeight)
        
    % 为模板和块设置最小/最大块边界
    % 比如：第1行，minr = 1 且 maxr = 4
    minr = max(1, m - halfBlockSize);
    maxr = min(imgHeight, m + halfBlockSize);
    
    % 对于图像中的每列（n）像素
    for (n = 1 : imgWidth)
        
        % 为模板设置最小/最大边界
        % 比如：第1列，minc = 1 且 maxc = 4
        minc = max(1, n - halfBlockSize);
        maxc = min(imgWidth, n + halfBlockSize);
        
        % 将模板位置定义为搜索边界，限制搜索使其不会超出图像边界 
        % 'mind'为能够搜索至左边的最大像素数；'maxd'为能够搜索至右边的最大像素数
        % 这里仅需要向右搜索，所以mind为0
        % 对于要求双向搜索的图像，设置mind为max(-disparityRange, 1 - minc)
        mind = 0; 
        maxd = min(disparityRange, imgWidth - maxc);

        % 选择右边的图像块用作模板
        template = rightI(minr:maxr, minc:maxc);
        
        % 获得本次搜索的图像块数
        numBlocks = maxd - mind + 1;
        
        % 创建向量来保存块偏差
        blockDiffs = zeros(numBlocks, 1);
        
        % 计算模板和每块的偏差
        for (i = mind : maxd)
        
            %选择左边图像距离为'i'处的块
            block = leftI(minr:maxr, (minc + i):(maxc + i));
        
            % 计算块的基于1的索引放进'blockDiffs'向量
            blockIndex = i - mind + 1;
            
            %{
            % NCC（Normalized Cross Correlation）
            ncc = 0;
            nccNumerator = 0;
            nccDenominator = 0;
            nccDenominatorRightWindow = 0;
            nccDenominatorLeftWindow = 0;
            %}
            
            % 计算模板和块间差的绝对值的和（SAD）作为结果
            for (j = minr : maxr)
                for (k = minc : maxc)
                    
                    % SAD（Sum of Absolute Differences）
                    blockDiff = abs(rightI(j, k) - leftI(j, k + i));
                    blockDiffs(blockIndex, 1) = blockDiffs(blockIndex, 1) + blockDiff;
                    
                    
                    %{
                    % NCC
                    nccNumerator = nccNumerator + (rightI(j, k) * leftI(j, k + i));
                    nccDenominatorLeftWindow = nccDenominatorLeftWindow + (leftI(j, k + i) * leftI(j, k + i));
                    nccDenominatorRightWindow = nccDenominatorRightWindow + (rightI(j, k) * rightI(j, k));
                    %}
                end
            end

🎉3 参考文献

[1]杨晓立,叶乐佳,赵鑫,王飞,徐玉华,肖振中.双目立体视觉研究进展与应用[J/OL].激光与光电子学进展:1-30[2023-06-06].

部分理论引用网络文献，若有侵权联系博主删除。

🌈4 Matlab代码实现