双目立体匹配算法：Patch Match Stereo详解

最新推荐文章于 2024-09-24 09:00:00 发布
最新推荐文章于 2024-09-24 09:00:00 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： 自动驾驶与三维重建 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sdw5723118/article/details/127106391
版权
本文详细介绍了Patch Match在双目立体匹配中的应用，通过随机采样和匹配传递，寻找最佳的3D视差平面。算法能处理亚像素视差和倾斜表面，但对噪声和弱纹理场景鲁棒性不足。此外，讨论了算法的局限性和GPU并行处理的优化方法。
摘要由CSDN通过智能技术生成

        PatchMatch主要用于在两幅二维图像中搜索最近领域中相似度最高的patch。其主要基于随机采样（random sampling）思想，并根据图像区域相似性，提供一种在整个图像区域快速propagate以提高搜索与匹配效率的机制（算法原理如下图）。目前主要应用于图像编辑工具，也扩展到诸如双目匹配、AR等多个研究领域。

        最小化匹配代价来为每一个像素找到一个最优的3D视差平面。这个问题可以通过patch match来解决：首先对所有像素的视差平面进行随机初始化或根据某些先验信息进行初始化，然后基于迭代传播(空间传播、视图传播、帧间传播、平面细化)不断地更新所有像素的平面参数。patch match的优点是只要至少有一个像素的初始化视差平面位于或接近最优平面，就可以找到剩余所有像素的最优平面。

step1.映射关系初始化

将S划分为M个patch，随机定义一个矩阵，这个矩阵中的每个向量代表着S中的patch与T中对应patch的映射关系，当然由于是随机初始化，这个映射关系是相当不准确的，但总会有或者说至少有一个是较好匹配的；如下图所示，A 中的蓝patch随机映射到B中的蓝色patch,其周围的红色框和绿色框分别对应B图中的红框和绿框

了解本专栏 订阅专栏 解锁全文 超级会员免费看
秋水 墨色
关注
专栏目录
订阅专栏
传统多视图立体算法：PatchMatchStereo详解与编程
HackDashX的博客
08-13 286
PatchMatchStereo（简称PMS）是一种传统的多视图立体算法，结合了PatchMatch算法和立体匹配技术，能够高效地实现立体视觉重建。综上所述，PatchMatchStereo是一种传统的多视图立体算法，结合了PatchMatch算法和立体匹配技术，能够高效地实现立体视觉重建。（1）视差空间搜索：对于左图中的每一个像素点，通过PatchMatch算法在右图中搜索可能的匹配。（3）一致性检测：对于左图像素点的匹配结果，通过检测其匹配结果在右图中的反向匹配是否一致来判断匹配的可靠性。
多视图立体几何PatchMatchStereo：DSI与Cost Volume
3D视觉工坊
03-17 629
在上一篇文章：传统多视图立体算法：PatchMatchStereo详解[1]中，我们谈到利用在视差空间对每一个像素随机一个视差平面，然后通过传播这个视差平面参数，使得每一个像素经过周围像素...
双目立体匹配算法：SGM
dulingwen的博客
03-27 4万+
立体匹配旨在为校正后的左右视图提供稠密的匹配对，这种问题称为"stereo correspondence problem"。有大量的算法用于求解立体匹配问题，根据Scharstein和 Szeliski的研究，所有这些算法的计算流程基本上都可以分为四个步骤：A.匹配代价计算；B.代价聚合；C.视差计算/优化；D.视差细化。其中匹配代价用来度量像素或者像素块之间的相似性，计算匹配代价的方法有AD、SAD、BT、NCC、Census-Hamming、HMI、Daisy以及基于深度学习方法的匹配代价等等。
双目立体视觉匹配算法-----SAD匹配算法、BM算法、SGBM算法、GC算法
热门推荐
liulina603的专栏
11-23 7万+
一、 SAD算法 1.算法原理         SAD(Sum of absolute differences)是一种图像匹配算法。基本思想：差的绝对值之和。此算法常用于图像块匹配，将每个像素对应数值之差的绝对值求和，据此评估两个图像块的相似度。该算法快速、但并不精确，通常用于多级处理的初步筛选。 2.基本流程 输入：两幅图像，一幅Left-Image，一幅Right-Im
双目立体匹配算法：SGBM
最新发布
weixin_45303602的博客
09-24 2192
SGBM（Semi-Global Block Matching）是一种用于计算双目视觉中视差（disparity）的半全局匹配算法，在OpenCV中的实现为semi-global block matching（SGBM）。它是基于全局匹配算法和局部匹配算法的优缺点，提出了一种折中的方法，既能保证视差图的质量，又能降低计算复杂度。
双目匹配
在路上@Amos
01-12 470
matchFeatures
双目立体匹配算法
薛定谔的猫头咕咕咕
10-15 4082
双目视觉基础 单目成像 根据相机的小孔成像模型可知，2D图像上的一个像素点经过反投影只能确定三维空间中的一条射线，无法得到三维空间该点的具体深度值。 双目成像 在两个不同姿态的相机内外参已知的前提下，根据对P点拍摄两张不同角度的图像，根据两幅图像中的一对同名点，可以确定两条射线，两条射线的焦点就是P点在世界坐标系下的位置，称此过程为双目交汇，寻找同名点的过程为双目立体匹配。 三角化 三角化原理： 得到多对同名点的前提下，计算左右图像对的视差图，基于三角化的原理恢复物体的三维信息。 由对极
传统多视图立体算法：PatchMatchStereo详解
qq_29462849的博客
02-28 787
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达1.引言多视图立体技术是一种从已知相机内外参数的多个视角的彩色影像中，利用立体匹配算法恢复立体结构的三维视觉技术。本篇文章将带来MV...
双目立体匹配算法：ELAS
dulingwen的博客
03-31 1万+
efficient large scale stereo matching
双目视觉（三）立体匹配算法
火柴的初心的博客
09-22 2万+
1.立体匹配算法 局部匹配 全局匹配 差异： 局部算法运算速度快，但在弱纹理、遮挡和视差不连续区域误匹配率高； 全局算法精度高，但计算复杂度也相应的较高，耗时长，难以达到实时性。 局部算法 局部算法一般可分为基于特征、区域和相位的方法。 step1:给定左图和右图 step2:在极线上进行搜索最匹配的点。 step3: 计算每次搜...
双目视觉中立体匹配算法的研究与实现
03-25
双目视觉中立体匹配算法的研究与实现，区域算法、特征算法等
PatchMatchStereo-source.zip
08-08
经典立体匹配算法PatchMatchStereo源码，可直接运行。对代码有任何问题，可以直接和博主交流。
双目立体匹配
01-06
双目立体匹配 https://blog.csdn.net/m0_37604894/article/details/81020846 https://www.cnblogs.com/ding-jing/p/8654137.html 1 视差生成深度 公式．．． 2 全局方法 其中数据项描述了匹配程度，平滑项体现了定义场景的约束，C是匹配代价（或称penalty），P是不同两像素p和q视差的函数，一般称之为平滑项． 考虑到能量优化问题在一维空间的复杂度是多项式级的，因此一些研究试图做一些近似来降低算法的复杂度。例如，半全局算法（SGM）就利用了这一特性将二维问题简化为8到16个一维问题，以实现一
双目相机立体匹配算法概述(含Python代码)
m0_59257547的博客
07-21 4949
立体匹配任务是计算机视觉中的一个重要问题，旨在从一对具有相同场景的图像中估计每个像素的视差（disparity）。本文对现有的传统算法和深度学习算法进行了综述，以便于各位选择合适的立体匹配算法用于深度估计或三维建模。
双目立体匹配算法漫谈
hy_jones的专栏
01-10 1055
双目立体匹配算法漫谈双目立体匹配算法漫谈前提一些基本假设框架matching cost computationcost (support) aggregation;代价聚合功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 双目立体匹
双目立体视觉之立体匹配算法
qq_41823532的博客
03-01 8577
双目立体视觉是指使用两个摄像机从不同的角度获取同一个场景的左右视图，然后使用双目立体匹配算法来寻找左右视图中的匹配像素点对，最后利用三角测量原理来还原三维空间物理点过程。其中双目立体匹配算法是最为核心的。立体匹配是一种根据平面图像来恢复真实场景深度信息的技术，其做法是从两个或多个相同场景的图像中找出匹配点对，然后根据三角测量原理计算点对所对应的空间物理点的深度。
【算法】PatchMatch立体匹配算法_原理解析
LeonJin的博客
03-02 4817
PatchMatchStereo是Michael Bleyer等在2011年发表于British Machine Vision Conference（BMVC）上的一篇双目立体匹配算法文章，非常经典，倾斜支持窗的思路打破传统固定窗口式局部匹配的思维桎梏，在Middlebury数据集上获得非常好的匹配效果，一段时间内高居排行榜第一名。更难能可贵的是，它和SGM一样数据泛化能力出色，对大部分数据都能取得不错的结果，所以也被很多商业软件所实现，是真正能够产品化的算法。
双目立体匹配算法：Patch Match Stereo
dulingwen的博客
04-21 3591
基于Patch Match的立体匹配算法
双目立体匹配算法：SGM 实时代码
05-18
以下是双目立体匹配算法SGM的实时代码： ``` #include <iostream> #include <opencv2/opencv.hpp> using namespace std; using namespace cv; const int max_image_size = 960; const int max_disparity = 64; const int P1 = 5; const int P2 = 70; const int penalty_scale = 10; const int uniqueness_ratio = 15; const int speckle_window_size = 100; const int speckle_range = 32; int main(int argc, char** argv) { if(argc != 3) { cout << "Usage: ./sgm_stereo left_image right_image" << endl; return -1; } Mat imgL = imread(argv[1], IMREAD_GRAYSCALE); Mat imgR = imread(argv[2], IMREAD_GRAYSCALE); if(imgL.empty() || imgR.empty()) { cout << "Error: Could not open or find the images" << endl; return -1; } int width = imgL.cols; int height = imgL.rows; if(width > max_image_size || height > max_image_size) { cout << "Error: Image size too large" << endl; return -1; } int min_disparity = 0; int max_disparity = 64; Mat disparity_map = Mat::zeros(height, width, CV_8UC1); for(int y = 0; y < height; y++) { for(int x = 0; x < width; x++) { int min_cost = INT_MAX; int best_disparity = min_disparity; for(int d = min_disparity; d < max_disparity; d++) { int sum = 0; int count = 0; for(int dy = -1; dy <= 1; dy++) { for(int dx = -1; dx <= 1; dx++) { int xl = x + dx; int xr = x + dx - d; if(xl < 0 || xl >= width || xr < 0 || xr >= width) { continue; } int diff = abs((int)imgL.at<uchar>(y+dy, x+dx) - (int)imgR.at<uchar>(y+dy, xr)); sum += diff; count++; } } int cost = sum / count; if(d > min_disparity) { int diff = abs(d - best_disparity); cost += (diff == 1) ? P1 : (P1 + (diff - 1) * P2); } if(cost < min_cost) { min_cost = cost; best_disparity = d; } } disparity_map.at<uchar>(y, x) = best_disparity; } } Ptr<StereoSGBM> stereo = StereoSGBM::create(min_disparity, max_disparity, penalty_scale, 8 * imgL.channels() * speckle_window_size * speckle_window_size, 32 * speckle_range, uniqueness_ratio, StereoSGBM::MODE_SGBM_3WAY); stereo->compute(imgL, imgR, disparity_map); namedWindow("Disparity Map", WINDOW_NORMAL); imshow("Disparity Map", disparity_map); waitKey(0); return 0; } ``` 需要注意的是，此代码只是SGM算法的实现之一，针对不同的场景和需求，实现方式可能会有所不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秋水 墨色

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值