双目立体匹配算法：Patch Match Stereo详解

最新推荐文章于 2023-10-20 21:00:05 发布
最新推荐文章于 2023-10-20 21:00:05 发布
阅读量1.3k 收藏
点赞数 1
分类专栏： 自动驾驶与三维重建 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sdw5723118/article/details/127106391
版权
本文详细介绍了Patch Match在双目立体匹配中的应用，通过随机采样和匹配传递，寻找最佳的3D视差平面。算法能处理亚像素视差和倾斜表面，但对噪声和弱纹理场景鲁棒性不足。此外，讨论了算法的局限性和GPU并行处理的优化方法。
摘要由CSDN通过智能技术生成

        PatchMatch主要用于在两幅二维图像中搜索最近领域中相似度最高的patch。其主要基于随机采样（random sampling）思想，并根据图像区域相似性，提供一种在整个图像区域快速propagate以提高搜索与匹配效率的机制（算法原理如下图）。目前主要应用于图像编辑工具，也扩展到诸如双目匹配、AR等多个研究领域。

        最小化匹配代价来为每一个像素找到一个最优的3D视差平面。这个问题可以通过patch match来解决：首先对所有像素的视差平面进行随机初始化或根据某些先验信息进行初始化，然后基于迭代传播(空间传播、视图传播、帧间传播、平面细化)不断地更新所有像素的平面参数。patch match的优点是只要至少有一个像素的初始化视差平面位于或接近最优平面，就可以找到剩余所有像素的最优平面。

step1.映射关系初始化

将S划分为M个patch，随机定义一个矩阵，这个矩阵中的每个向量代表着S中的patch与T中对应patch的映射关系，当然由于是随机初始化，这个映射关系是相当不准确的，但总会有或者说至少有一个是较好匹配的；如下图所示，A 中的蓝patch随机映射到B中的蓝色patch,其周围的红色框和绿色框分别对应B图中的红框和绿框

了解本专栏 订阅专栏 解锁全文 超级会员免费看
秋水 墨色
关注
专栏目录
订阅专栏
PatchMatch:python实现的补丁匹配算法
05-25
Patch_Match_python python实现的补丁匹配算法 介绍 该代码主要实现补丁匹配算法，有关详细信息，请参见论文： 有两个patchmatch代码：PatchMatch.py​​和PatchMatch_Bidirectional.py。 最后一个用于代码 ...
【算法】PatchMatch立体匹配算法_原理解析
LeonJin的博客
03-02 4406
PatchMatchStereo是Michael Bleyer等在2011年发表于British Machine Vision Conference（BMVC）上的一篇双目立体匹配算法文章，非常经典，倾斜支持窗的思路打破传统固定窗口式局部匹配的思维桎梏，在Middlebury数据集上获得非常好的匹配效果，一段时间内高居排行榜第一名。更难能可贵的是，它和SGM一样数据泛化能力出色，对大部分数据都能取得不错的结果，所以也被很多商业软件所实现，是真正能够产品化的算法。
双目立体匹配原理及流程简介
最新发布
cy413026的博客
10-20 1101
匹配代价计算的目的是计算参考图像上的每一个待匹配像素与目标图上每一个可能的视差范围内的候选像素之间的相关性，最后得到一个大小为W×H×D (D为视差搜索范围)的代价矩阵C（也叫视差空间图Disparity Space Image，DSI），代价计算算法是双目匹配的核心之一，不同的计算方式有不同的优势，有时候可以结合多种计算方法。的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。立体视觉：立体视觉是。
PatchMatch 算法理解
fht3873的博客
07-01 2405
无
必须收藏！双目立体匹配算法：Patch Match Stereo实用详解教程
小白学视觉
05-06 831
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文对立体匹配算法：Patch Match Stereo实用进行了教程详解。作者丨3D视觉开发者社区01简介我们知道，现有立体匹配算法一般被分类为局部算法、全局算法和半全局算法，其中局部算法和半全局算法是应用最为广泛。在局部算法中，一个最简单的做法就是采用某种像素相似性度量，比如像素灰度差的绝对值AD，给定左图中的一个点p，在右...
PatchMatch系列算法论文
qq_43579156的博客
10-21 4562
算法起源——Patchmatch patchmatch算法是为了图像编辑而提出的，通过找到与边缘部分最匹配的其他部分来填补边界区域，从而达到自然的效果。算法的关键是可以通过随机采样找到一些好的补丁匹配，并且由于图像的连续性，我们能够将此类匹配快速传播到周围区域。 如果直接采用枚举的方式来解决这个问题，若B图的大小为M，A中patch的像素数为m，那么一个匹配的计算复杂度是O(M2m)O(M^2m)O(M2m) 算法的三个事实基础： 1.针对O(M2m)O(M^2m)O(M2m)的维度，一般算法降低patc
StereoMatch.rar_stereo matching_stereomatch _双目_立体匹配
07-14
"StereoMatch.rar" 文件集合提供了一个专门用于双目立体匹配的独立C++程序，这为开发者和研究人员提供了实践和研究立体匹配算法的平台。 立体匹配的基本原理是基于视差，即由于两个摄像机的位置差异，同一物体在两...
PM-PM：具有用于对象分割和立体匹配的Potts模型的PatchMatch
04-02
本文提出了用于联合对象分割和立体匹配的统一变分公式，该公式同时考虑了准确性和效率。 在我们的方法中，深度图由紧凑的对象组成，每个对象都通过三个不同的方面表示：1）图像空间的周长； 2）倾斜的物体深度平面；...
双目立体匹配测试数据集Middlebury Stereo Datasets
10-31
Middlebury Stereo Datasets是由Middlebury视觉研究实验室创建的一个权威性数据集，专门用于评估和推动双目立体匹配算法的发展。这个数据集包括了多个年份（2003、2005、2006）的真实世界场景和精心设计的合成图像，...
【立体匹配】传统/深度双目立体匹配方法总结
ydd的博客，记录生活
01-30 4085
双目立体匹配一般分为代价计算，代价聚合，计算视差，后处理等步骤。立体校正的Bouguet算法旨在使两幅图像中每幅图像的重投影变化最小化的同时最大化双目视图的公共视野。相机拍摄的一个特定物体（世界坐标系），其相对于相机坐标系统的姿态可用 旋转 和 平移 进行描述。平移向量是以物体中心为原点的坐标系到以相机中心为原点的坐标系的偏移量，因此，相应的平移向量为。cv::InputArrat R 此矩阵是补偿相机相对于相机所处的全局坐标系的旋转。其中（2）(3）为摄像机内参数，其中k3普通镜头不使用，鱼眼镜头要使用。
【双目视觉】双目立体匹配
下次你路过，人间已无我
05-23 1万+
一、双目立体匹配算法 在opencv中用的比较多的双目立体匹配算法有两种：BM和SGBM。SGBM是BM立体匹配算法的优化版，属于半全局匹配，相对于BM花的时间要更多，但效果优于BM。本文使用的是SGBM半全局匹配方式。 步骤： 1.打开相机，获取到左目和右目的图像； 2.矫正畸变； 3.图像灰度化； 4.立体匹配，输出结果。 代码步骤 导入所需的第三方库 import cv2 import numpy as np # 畸变矫正脚本 import camera_config 矫正畸变 left_remap
传统多视图立体算法：PatchMatchStereo详解
limingmin2020的博客
10-10 794
多视图立体技术是一种从已知相机内外参数的多个视角的彩色影像中，利用立体匹配算法恢复立体结构的三维视觉技术。本篇文章将带来MVS的传统方法PatchMatch Stereo和源码实践。
基于python的PatchMatchStereo立体匹配算法实现
小张的技术分享博客
12-17 1630
PatchMatchStereo是Michael Bleyer等在2011年发表于British Machine Vision Conference（BMVC）上的一篇双目立体匹配算法文章，和AD-census、SGM都是非常经典的算法，PMSstereo原文链接在此，可以直接下载阅读。双目立体匹配算法：Patch Match Stereo实用详解教程【理论恒叨】【立体匹配系列】经典PatchMatch: （2）基于PatchMatch的视差估计。
patch matching 图像块匹配算法
Peachy 的 CSDN 博 客
02-26 2万+
入实验室后，我读的第一篇paper是：Needle-Match: Reliable Patch Matching under High Uncertainty，其中涉及到了patch相似度匹配，作为一个新人我对此没有任何基础，我完全不懂如何匹配出相似的patch,当时在网上也没有找到说的很清楚的参考资料，经过两周的学习和matlab仿真,我简单讲讲如何找出一幅图中相似的p块和q块，这都是很简单的知识，仅仅献给初学者（若有错误欢迎指正）： 在一幅512*512的灰度图中，以3x3的patch为例，在全图匹配
双目立体匹配_StereoNet网络
Twilight737的博客
11-07 5485
传统立体匹配算法通常选取立体校正后的左视图作为参考图像，通过在目标图像上进行行搜索寻找同名点并计算视差，将每个像素的视差进行保存，得到单通道的视差图。距离相机越近的空间点，在视差图中灰度值越大。传统立体匹配算法将双目立体匹配问题转化寻找最小化能量函数的图D问题，此处的D可以时深度图或视差图，因此在深度学习领域立体匹配又被成为视差估计、深度估计。
双目立体匹配入门【一】（理论）
凳子花❀的博客
02-22 1万+
参考文章： 1.双目视觉简介 2.学习笔记-双目立体视觉简介 3.立体匹配算法原理与应用-奥比中光 4.双目立体匹配-江佩视觉 建议刚入门的先观看参考资料3，讲的很详细，也通俗易懂，本文也主要是依照该课程做的笔记，但额外补充了一些东西。参考资料4的视频讲的很简单，但是有很多概括性的东西，内容我基本都总结进本文里面了。 版权声明：本文只用作学习用途，如有侵权，请联系。 ***注：***本文内容只是总结了网上一些学习资料，如有疑问，请讨论指正。 1 专有名词 双目立体视觉：Binocular Stereo Vi
双目立体匹配算法：Patch Match Stereo
dulingwen的博客
04-21 3546
基于Patch Match的立体匹配算法
双目立体匹配算法：SGM
热门推荐
dulingwen的博客
03-27 3万+
立体匹配旨在为校正后的左右视图提供稠密的匹配对，这种问题称为"stereo correspondence problem"。有大量的算法用于求解立体匹配问题，根据Scharstein和 Szeliski的研究，所有这些算法的计算流程基本上都可以分为四个步骤：A.匹配代价计算；B.代价聚合；C.视差计算/优化；D.视差细化。其中匹配代价用来度量像素或者像素块之间的相似性，计算匹配代价的方法有AD、SAD、BT、NCC、Census-Hamming、HMI、Daisy以及基于深度学习方法的匹配代价等等。
双目立体匹配算法：SGM 实时代码
05-18
以下是双目立体匹配算法SGM的实时代码： ``` #include <iostream> #include <opencv2/opencv.hpp> using namespace std; using namespace cv; const int max_image_size = 960; const int max_disparity = 64; const int P1 = 5; const int P2 = 70; const int penalty_scale = 10; const int uniqueness_ratio = 15; const int speckle_window_size = 100; const int speckle_range = 32; int main(int argc, char** argv) { if(argc != 3) { cout << "Usage: ./sgm_stereo left_image right_image" << endl; return -1; } Mat imgL = imread(argv[1], IMREAD_GRAYSCALE); Mat imgR = imread(argv[2], IMREAD_GRAYSCALE); if(imgL.empty() || imgR.empty()) { cout << "Error: Could not open or find the images" << endl; return -1; } int width = imgL.cols; int height = imgL.rows; if(width > max_image_size || height > max_image_size) { cout << "Error: Image size too large" << endl; return -1; } int min_disparity = 0; int max_disparity = 64; Mat disparity_map = Mat::zeros(height, width, CV_8UC1); for(int y = 0; y < height; y++) { for(int x = 0; x < width; x++) { int min_cost = INT_MAX; int best_disparity = min_disparity; for(int d = min_disparity; d < max_disparity; d++) { int sum = 0; int count = 0; for(int dy = -1; dy <= 1; dy++) { for(int dx = -1; dx <= 1; dx++) { int xl = x + dx; int xr = x + dx - d; if(xl < 0 || xl >= width || xr < 0 || xr >= width) { continue; } int diff = abs((int)imgL.at<uchar>(y+dy, x+dx) - (int)imgR.at<uchar>(y+dy, xr)); sum += diff; count++; } } int cost = sum / count; if(d > min_disparity) { int diff = abs(d - best_disparity); cost += (diff == 1) ? P1 : (P1 + (diff - 1) * P2); } if(cost < min_cost) { min_cost = cost; best_disparity = d; } } disparity_map.at<uchar>(y, x) = best_disparity; } } Ptr<StereoSGBM> stereo = StereoSGBM::create(min_disparity, max_disparity, penalty_scale, 8 * imgL.channels() * speckle_window_size * speckle_window_size, 32 * speckle_range, uniqueness_ratio, StereoSGBM::MODE_SGBM_3WAY); stereo->compute(imgL, imgR, disparity_map); namedWindow("Disparity Map", WINDOW_NORMAL); imshow("Disparity Map", disparity_map); waitKey(0); return 0; } ``` 需要注意的是，此代码只是SGM算法的实现之一，针对不同的场景和需求，实现方式可能会有所不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秋水 墨色

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值