双目立体匹配步骤详解

最新推荐文章于 2024-06-13 17:00:57 发布
最新推荐文章于 2024-06-13 17:00:57 发布
阅读量3.1w 收藏 402
点赞数 146
分类专栏： # 立体匹配 三维重建 文章标签： 双目 立体匹配 步骤
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rs_lys/article/details/83302323
版权

文章目录

  根据Schrstein和Szeliski的总结，双目立体匹配可划分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。

Step1 匹配代价计算

  匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。

  每个像素在搜索同名点之前，往往会指定一个视差搜索范围D（Dmin ~ Dmax）,视差搜索时将范围限定在D内，用一个大小为W×H×D（W为影像宽度，H为影像高度）的三维矩阵C来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵C通常称为DSI（Disparity Space Image）。

  匹配代价计算的方法有很多，传统的摄影测量中，使用灰度绝对值差（AD，Absolute Differences）1、灰度绝对值差之和（SAD，Sum of Absolute Differences）、归一化相关系数（NCC，Normalized Cross-correlation）等方法来计算两个像素的匹配代价；计算机视觉中，多使用互信息（MI，Mutual Information）法2 3、Census变换（CT，Census Transform）法4 5、Rank变换（RT, Rank Transform）法6 7、BT（Birchfield and Tomasi）法8 等作为匹配代价的计算方法。不同的代价计算算法都有各自的特点，对各类数据的表现也不尽相同，选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤。

图1 DSI示意图（C(x,y,d)代表像素(x,y)在视差为d时的匹配代价）

Step2 代价聚合

   代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑局部信息，通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映像素之间的相关性，直接表现就是真实同名点的代价值非最小。

  而代价聚合则是建立邻接像素之间的联系，以一定的准则，如相邻像素应该具有连续的视差值，来对代价矩阵进行优化，这种优化往往是全局的，每个像素在某个视差下的新代价值都会根据其相邻像素在同一视差值或者附近视差值下的代价值来重新计算，得到新的DSI，用矩阵S来表示。

  实际上代价聚合类似于一种视差传播步骤，信噪比高的区域匹配效果好，初始代价能够很好的反映相关性，可以更准确的得到最优视差值，通过代价聚合传播至信噪比低、匹配效果不好的区域，最终使所有影像的代价值都能够准确反映真实相关性。常用的代价聚合方法有扫描线法、动态规划法、SGM算法中的路径聚合法等。

图1：代价聚合前后视差图示意图

Step3 视差计算

  视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值，通常使用赢家通吃算法（WTA，Winner-Takes-All）来计算，如图2所示，即某个像素的所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差。这一步非常简单，这意味着聚合代价矩阵S的值必须能够准确的反映像素之间的相关性，也表明上一步代价聚合步骤是立体匹配中极为关键的步骤，直接决定了算法的准确性。

图2 赢家通吃（WTA）算法示意图

Step4 视差优化

  视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误视差、适当平滑以及子像素精度优化等步骤，一般采用左右一致性检查（Left-Right Check）算法剔除因为遮挡和噪声而导致的错误视差；采用剔除小连通区域算法来剔除孤立异常点；采用中值滤波（Median Filter）、双边滤波（Bilateral Filter）等平滑算法对视差图进行平滑；另外还有一些有效提高视差图质量的方法如鲁棒平面拟合（Robust Plane Fitting）、亮度一致性约束（Intensity Consistent）、局部一致性约束（Locally Consistent）等也常被使用。

  由于WTA算法所得到的视差值是整像素精度，为了获得更高的子像素精度，需要对视差值进行进一步的子像素细化，常用的子像素细化方法是一元二次曲线拟合法，通过最优视差下的代价值以及左右两个视差下的代价值拟合一条一元二次曲线，取二次曲线的极小值点所代表的视差值为子像素视差值。如图3所示。

图3 二次曲线拟合法子像素位置计算示意图

  局部匹配算法的步骤一般包括匹配代价计算、代价聚合和视差计算三个步骤，全局算法则包括匹配代价计算，视差计算与视差优化三个步骤，半全局算法SGM则四个步骤都有。

恒叨立码之立体匹配
SGM
理论恒叨系列

【恒叨立码】【理论恒叨】【立体匹配系列】经典SGM：（1）匹配代价计算之互信息（MI））
【恒叨立码】【理论恒叨】【立体匹配系列】经典SGM：（2）匹配代价计算之Census变换
【恒叨立码】【理论恒叨】【立体匹配系列】经典SGM：（3）代价聚合（Cost Aggregation）
【恒叨立码】【理论恒叨】【立体匹配系列】经典SGM：（4）视差计算、视差优化

码上教学系列

【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（1）框架与类设计
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（2）代价计算
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（3）代价聚合
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（4）代价聚合2
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（5）视差优化
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（6）视差填充
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（7）弱纹理优化

恒叨立码之立体匹配 -- PatchMatch
PatchMatch
理论恒叨系列

【恒叨立码】【理论恒叨】【立体匹配系列】经典PatchMatch: （1）Slanted support windows倾斜支持窗模型
【恒叨立码】【理论恒叨】【立体匹配系列】经典PatchMatch: （2）基于PatchMatch的视差估计
【恒叨立码】【理论恒叨】【立体匹配系列】经典PatchMatch: （3）后处理（一致性检查与视差填充）

  1. KANADE T, KANO H, KIMURA S, et al. Development of a video-rate stereo machine: Ieee/rsj International Conference on Intelligent Robots and Systems 95. ‘human Robot Interaction and Cooperative Robots’, Proceedings, 2002[C]. ↩︎

  2. KIM J, KOLMOGOROV V, ZABIH R. Visual Correspondence Using Energy Minimization and Mutual Information: IEEE International Conference on Computer Vision, 2003. Proceedings, 2008[C]. ↩︎

  3. EGNAL G. Mutual Information as a Stereo Correspondence Measure[J]. Technical Reports, 2000. ↩︎

  4. MA L, LI J, MA J, et al. A Modified Census Transform Based on the Neighborhood Information for Stereo Matching Algorithm: Seventh International Conference on Image and Graphics, 2013[C]. ↩︎

  5. BAIK Y K, JO J H, LEE K M. Fast Census Transform-based Stereo Algorithm using SSE2: The 12th Korea-Japan Joint Workshop on Frontiers of Computer Vision, Tokushima, Japan, 2006[C]. ↩︎

  6. GU Z, SU X, LIU Y, et al. Local stereo matching with adaptive support-weight, rank transform and disparity calibration[J]. Pattern Recognition Letters, 2008,29(9):1230-1235. ↩︎

  7. BANKS J, BENNAMOUN M, KUBIK K, et al. A constraint to improve the reliability of stereo matching using the rank transform: Acoustics, Speech, and Signal Processing, 1999. on 1999 IEEE International Conference, 1999[C]. ↩︎

  8. BIRCHFIELD S, TOMASI C. A Pixel Dissimilarity Measure That Is Insensitive to Image Sampling[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998,20(4):401-406. ↩︎

李迎松~
关注
  • 146
    点赞
  • 踩
  • 402
    收藏
    觉得还不错? 一键收藏
  • 30
    评论
专栏目录
双目立体匹配算法：SGM
dulingwen的博客
03-27 3万+
立体匹配旨在为校正后的左右视图提供稠密的匹配对，这种问题称为"stereo correspondence problem"。有大量的算法用于求解立体匹配问题，根据Scharstein和 Szeliski的研究，所有这些算法的计算流程基本上都可以分为四个步骤：A.匹配代价计算；B.代价聚合；C.视差计算/优化；D.视差细化。其中匹配代价用来度量像素或者像素块之间的相似性，计算匹配代价的方法有AD、SAD、BT、NCC、Census-Hamming、HMI、Daisy以及基于深度学习方法的匹配代价等等。
双目立体匹配
01-06
双目立体匹配 https://blog.csdn.net/m0_37604894/article/details/81020846 https://www.cnblogs.com/ding-jing/p/8654137.html 1 视差生成深度 公式．．． 2 全局方法 其中数据项描述了匹配程度，平滑项体现了定义场景的约束，C是匹配代价（或称penalty），P是不同两像素p和q视差的函数，一般称之为平滑项． 考虑到能量优化问题在一维空间的复杂度是多项式级的，因此一些研究试图做一些近似来降低算法的复杂度。例如，半全局算法（SGM）就利用了这一特性将二维问题简化为8到16个一维问题，以实现一
【图像处理】基于双目立体匹配的景深计算（Matlab代码实现）
最新发布
weixin_61181717的博客
06-13 891
基于双目立体匹配的景深计算是一种利用两台相机捕捉同一场景的两个视角，通过匹配两个图像中的同一物体点，计算出物体的三维深度信息的方法。3. **特征提取与匹配**：从左视图和右视图中提取特征点，使用特定算法（如SIFT, SURF, ORB等）进行匹配，找到两幅图像中对应的点对。双目立体匹配一直是双眼视觉的研究热点。2. **图像校正**：对捕捉到的图像进行校正，以消除相机畸变和其他几何误差，使得两幅图像在同一平面上。4. **视差计算**：通过匹配的点对计算视差，即对应点在左视图和右视图中的水平偏移量。
【双目视觉】双目立体匹配
下次你路过，人间已无我
05-23 1万+
一、双目立体匹配算法 在opencv中用的比较多的双目立体匹配算法有两种：BM和SGBM。SGBM是BM立体匹配算法的优化版，属于半全局匹配，相对于BM花的时间要更多，但效果优于BM。本文使用的是SGBM半全局匹配方式。 步骤： 1.打开相机，获取到左目和右目的图像； 2.矫正畸变； 3.图像灰度化； 4.立体匹配，输出结果。 代码步骤 导入所需的第三方库 import cv2 import numpy as np # 畸变矫正脚本 import camera_config 矫正畸变 left_remap
双目立体匹配步骤
秃头小苏的博客
10-19 3001
文章目录1、匹配代价计算2、代价聚合3、视差计算4、视差优化5、小结 1、匹配代价计算   匹配代价是用来衡量候选像素与匹配像素之间的相关性的，代价越小，说明两个像素点之间的相关性越大，是同名点的概率也越大。   所谓同名点，就是左右两幅图像中相对应的点，如下图中红框框起来的点就是同名点。     需要注意的是两幅图中两个像素无论是否是同名点，都是可以进行代价匹配的，无非就是不是同名点的两个像素代价高。也正是这样，之后会遍历搜索相关像素点，计算其代价值后寻找一个代价最小的像素点作为同名点。   
双目立体视觉之立体匹配算法
qq_41823532的博客
03-01 7685
双目立体视觉是指使用两个摄像机从不同的角度获取同一个场景的左右视图，然后使用双目立体匹配算法来寻找左右视图中的匹配像素点对，最后利用三角测量原理来还原三维空间物理点过程。其中双目立体匹配算法是最为核心的。立体匹配是一种根据平面图像来恢复真实场景深度信息的技术，其做法是从两个或多个相同场景的图像中找出匹配点对，然后根据三角测量原理计算点对所对应的空间物理点的深度。
立体匹配（双目匹配）
ThorKing01的博客
11-12 1442
开始学习立体视觉，记录一下。 立体匹配 立体匹配指：在两个不同的摄像机视图中匹配一个三维点。注意：只能在两个摄像机视图重叠的可视区域中进行计算（这就是为什么将摄像机尽可能前向平行放置）。 OpenCV提供两种立体匹配的算法，块匹配（block matching，BM）和半全局块匹配算法（semi-global block matching，SGBM） 其中SGBM慢一些，但是更可靠和准确。 ...
双目立体匹配_StereoNet网络
Twilight737的博客
11-07 5196
传统立体匹配算法通常选取立体校正后的左视图作为参考图像，通过在目标图像上进行行搜索寻找同名点并计算视差，将每个像素的视差进行保存，得到单通道的视差图。距离相机越近的空间点，在视差图中灰度值越大。传统立体匹配算法将双目立体匹配问题转化寻找最小化能量函数的图D问题，此处的D可以时深度图或视差图，因此在深度学习领域立体匹配又被成为视差估计、深度估计。
立体匹配
热门推荐
慢慢积累
03-09 1万+
立体匹配是立体视觉研究中的关键部分。其目标是在两个或多个视点中匹配相应像素点，计算视差。通过建立一个能量代价函数，对其最小化来估计像素点的视差，求得深度。概述 点P和Q，映射到左相机OR像面上的同一点p≡q，只要找到p和q在右相机OT像面上的对应点就可以通过三角计算估计深度。找到对应点的过程，即立体匹配。 为了找到对应点，需要增加约束，最常用的是极线约束。 P和Q映射到左相机QR像面上的同
双目立体匹配图片集，很多经典图片对（4对图片）
02-24
双目立体匹配图片集，很多经典图片对，大多经典论文中都有用到，做立体匹配的朋友可以下载。
基于SIFT的双目立体匹配系统
01-23
基于SIFT的OpenCV双目立体匹配系统，VS2013MFC 实现
双目立体匹配测试数据集Middlebury Stereo Datasets
10-31
双目立体匹配测试数据集Middlebury Stereo Datasets，包含Middlebury Stereo官网上面的03,05,06年的三部分数据集，01,14年的数据集下载失败，分享给大家。
双目立体视觉标准匹配图片以及视差图
04-18
双目立体视觉标准匹配图片以及视差图
立体匹配（ADCensus）
12-20
VS2012下调试好的代码，需要配置PCL,BOOST,OpenMP
双目立体匹配算法
mindfusion的博客
09-17 469
Loopy belief propagation, Markov Random Field, stereo vision website：http://nghiaho.com/?page_id=1366
双目相机立体匹配基础
极客园地
02-01 692
双目匹配就是用左相机和右相机去拍摄同一个点，目的是找到三维世界的同一个点，也就是在左相机和右相机中的成像点之间的像素差（视差），根据视差去求解深度，那么找到左相机点到右相机的同一个对应点这个过程就是双目相机立体匹配。
双目立体匹配算法：Patch Match Stereo
人无远虑，必有近忧
09-16 987
我们知道，现有立体匹配算法一般被分类为局部算法、全局算法和半全局算法，其中局部算法和半全局算法是应用最为广泛。在局部算法中，一个最简单的做法就是采用某种像素相似性度量，比如像素灰度差的绝对值AD，给定左图中的一个点p，在右图中的对应行上（假设输入是已经校正好的图像）搜索与其AD值最小的点q，这样得到的点q就是p在右图中对应的匹配点，p、q的水平坐标差称作视差。然而这种做法所得到的视差图中会包含大量的噪声，即错误的匹配对，原因可能是多方面的，如传感器噪声，左右相机的采集性能差异，图像中存在大面积无纹理、弱纹理
双目立体匹配_SGM算法
Twilight737的博客
10-10 2927
双目立体匹配
双目立体匹配 sad python
10-14
双目立体匹配是一种计算机视觉中的技术，主要用于将双目摄像头获取的两个视角的图像进行配准，获得二者之间的深度信息。Python是一种流行的编程语言，被广泛应用于科学计算和计算机视觉领域。 双目立体匹配算法旨在通过分析两个视角上的图像，找到对应点的像素坐标，进而计算该点的深度。这个过程涉及到图像预处理、特征提取以及匹配搜索等步骤。 在Python中，有许多开源的库和工具可用于实现双目立体匹配。例如，OpenCV库提供了丰富的图像处理和计算机视觉算法，包括双目立体匹配算法。使用OpenCV，我们可以通过加载两个视角的图像，获取它们的特征点，然后应用立体匹配算法来生成深度图。 Sad（Sum of Absolute Differences）是一种常用的匹配代价度量方法，用于计算两个像素块之间的差异。在双目立体匹配中，Sad是一种常用的代价度量方法之一，用于衡量两个像素块之间的相似度。通过计算像素块的Sad值，我们可以确定最佳匹配，并从而估计深度信息。 Python作为一种易学易用的编程语言，广泛运用于双目立体匹配的实现和应用中。它具有丰富的图像处理和计算机视觉库，并且有着不断更新和完善的社区支持。与其他编程语言相比，Python的语法简洁直观，使得双目立体匹配算法的实现更加便捷和高效。 总而言之，双目立体匹配是计算机视觉中的一项重要技术，而Python作为一种流行的编程语言，能够提供丰富的工具和库来实现该技术。通过使用Python和相关的图像处理库，我们可以实现双目立体匹配算法，从而获取深度图像，并在诸多应用领域中发挥其重要作用。
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值