双目立体匹配博客&资料汇总

已于 2024-01-08 14:39:32 修改
阅读量1.1k 收藏 42
点赞数 22
分类专栏： 双目立体视觉 文章标签： 计算机视觉
于 2024-01-08 10:16:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38233873/article/details/135450586
版权

网上对于双目立体匹配算法的学习资料有很多，本文旨在汇总网上优质的资源，并总结学习路线，从传统的SGM、PatchMatch、AD-Census，到近年来的各种深度学习双目立体匹配网络，双目立体匹配算法不断升级，并且一直是学术界研究的热门，值得探索！

1、基础理论

双目立体匹配有以下几个关键问题：

  • 一是如何对双目设备进行标定，只要标定后进行图像极线矫正，才能成为一个理想的双目系统；
  • 二是立体匹配算法，经典的传统立体匹配算法有SGM、PatchMatch和AD-Census，深度学习目前比较火的网络是RAFT-Stereo及其升级版本（例如CREStereo、IGEV等）；
  • 三是如何计算深度、如何生成点云，如果你看懂了前两步，那么这一步的公式应当手到擒来，当然，也会有一些特殊的情况，例如鱼眼双目，其公式的推导会很不一样。

如果你刚开始接触双目立体匹配算法，那么一定要看看李迎松博士的文章，你将会非常有收获，李博的csdn主页：link

另一个非常经典的资料是Stefano教授的经典讲义 Stereo Vision: Algorithms and Applications

还有一位csdn博主，火柴的初心，也写了非常多好文章：link

还有旷视大佬HawkWang写的一系列《计算摄影学》博客，每篇都写的很好，并且还在保持更新，这里仅列出双目立体视觉的部分：

其它一些博客

2、SGM（Semi-Global Matching）算法

SGM算法绝对是双目立体匹配算法中最流行的算法，没有之一。非常推荐看李博的文章及其代码实现：

另一个你需要看的是OpenCV实现的SGBM（Semi-Global Block Matching），李博实现的SGM代价空间的构建方式采用了Census，OpenCV则是采用了BT+SAD，并且除了使用输入图像的像素值计算代价，还使用了梯度计算代价，其中每一个参数都值得了解，在此放两篇源码分析。

还有值得一提的是，可能大家很好奇SGM和SGBM是一个意思吗？曾经我也很好奇，基于我目前的理解，这不是一个意思。SGM看论文就知道，其构建代价空间的方法采用的是互信息，但这个方法在目前实现的算法中已经鲜有使用了，SGBM可以看成是SGM的改进，改进的方式就是将代价空间的构建方式改成了块匹配，块匹配的方式有很多，比如上面提到的Census、SAD、BT等等，这样做的好处在于简化了算法，并且能让算法真正的落地，目前商业化的消费级双目产品基本都是算力有限的，需要能够高度并行的算法。

3、PatchMatch理论

PatchMatch算法是另一个非常优秀的传统算法，这个算法我的理解，全靠猜，首先来个随机初始化，然后空间传播、视图传播、平面优化，都是猜测支持窗更新后，代价有没有降低，如果有，那么就更新支持窗，否则不更新，最后通过多次迭代，计算出视差。算法很大的创新就是提出来倾斜支持窗模型，不使用构建代价空间、代价聚合、视差计算、视差优化这套框架，在平面倾斜非常大的图片上（例如贴近地面拍摄）有很好的效果，但一般的场景还是SGM效果更好，而且PatchMatch的计算量非常大，导致原版实现非常慢，所以商业化的消费级双目产品基本都没有采用。较好的方案，是使用cuda进行加速。

这里同样推荐李博的博客：

4、AD-Census算法

AD-Census算法可以说是SGM的改进，而且是中国学者提出的，从名字可以看出，相比于SGM，构建代价空间的方式采用了AD+Census，并且比SGM增加了十字臂的代价聚合方式，Intel RealSense系列双目相机引用了该论文，应该有参考其实现

这里同样推荐李博的博客：

5、其他传统算法

ELAS算法在MiddleBurry数据集有提到，但学习资料很少

6、深度学习算法

深度学习是目前双目立体匹配算法的发展方向，也是目前学术界热门，但目前商业化落地的产品很少，主要原因是算力限制，能真正在芯片上运行的网络非常少，虽然深度学习在各种数据集的指标上远胜于传统算法，但实际应用还是有很多挑战。

其实深度学习并不复杂，自2016年DispNet诞生，端到端的立体匹配网络正式提出，很多网络都是将传统的立体匹配算法的四部分：构建代价空间、代价聚合、视差计算、视差优化改变成网络的方式实现，只不过每个网络都有作者的创新点进行改进。到2019年，RAFT提出，带来了颠覆性的突破，通过引入GRU和Convex-Upsample等模块，以及迭代优化的思想，取得了非常好的效果，目前RAFT和基于RAFT的改版，例如CREStereo、IGEV在MiddleBurry都是名列前茅的，但这种多次迭代的结构在芯片端运行确实是个灾难。

下面也推荐一些深度学习方面的学习资料：

7、数据集网站

写在最后：网上关于双目立体匹配算法的文章非常多，本文总结的只是冰山一角，我只是大自然的搬运工，希望对大家有所帮助，我会保持更新的~

@兄弟情深@
关注
  • 22
    点赞
  • 踩
  • 42
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
litipipei_双目视觉立体匹配_
10-02
双目图片输入，深度图输出，采用Opencv自带的BM算法。需要预先搭建环境
基于两阶段自适应优化的双目立体匹配算法
07-25
针对局部立体匹配算法在弱纹理区域匹配准确度低的问题,提出一种在代价初始化和代价聚合两阶段自适应优化的立体匹配算法。首先,在代价初始化阶段,通过双阈值线性约束条件构造像素点的十字支撑窗口,并依据十字支撑最短臂长构造自适应函数融合AD及Census特征测度;其次,在代价聚合阶段,利用十字支撑水平扩展及形态学处理的方法构造自适应滤波窗口,并通过区域滤波实现代价聚合;最后,通过视差选择及视差优化得到最终的视差图像。Middlebury平台测试结果表明:该算法与传统的AD-Census融合立体匹配算法相比,图像集的整体匹配误差减小了3.95%,在非遮挡区域的匹配误差减小2.17%;与传统区域滤波立体匹配算法相比,该算法在弱纹理区域可以取得更好的立体匹配效果。
探索RAFТ-Stereo：一款高效立体匹配算法实现
最新发布
gitblog_00024的博客
04-16 560
探索RAFТ-Stereo：一款高效立体匹配算法实现 项目地址:https://gitcode.com/princeton-vl/RAFT-Stereo 本文将带你深入理解RAFТ-Stereo项目，这是一个由普林斯顿大学视觉实验室开发的先进深度估计工具。通过技术创新，RAFТ-Stereo旨在提供一种高精度、实时的立体匹配解决方案，这对于自动驾驶、机器人导航和3D重建等领域至关重要。 项目简介 ...
持续在榜的双目深度估计模型RAFT-Stereo，来了解一下吗？
m0_63642362的博客
05-28 1524
RAFT-Stereo能够帮助解决双目深度估计中的一些挑战，如纹理缺失、遮挡和低纹理等问题。RAFT-Stereo作为Middleburry排行榜前五名中，是唯一一个2021年提出的算法
RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching RAFT-Stereo：用于立体匹配的多级递归场变换
奔跑的回锅肉の博客
02-25 2140
RAFT—Stereo 摘要 本文介绍了一种基于光流网络RAFT[35]的新型深度整流立体声系统RAFT- stereo。我们引入了多级卷积gru，它可以更有效地在图像中传播信息。RAFT-Stereo的改进版本可以进行精确的实时推理。RAFT-stereo在Middlebury排行榜上排名第一，在1px的误差上比第二好的方法高出29%，并且在ETH3D双视图立体视觉基准上的表现优于所有已发表的作品 1.Introduction 立体深度估计是一个基本的视觉问题，直接应用于机器人、增强现实、摄影测量和视频理
论文笔记 - RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching
andyL_05的博客
05-14 2362
这篇博客是对论文RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching的阅读笔记。 论文地址位于，代码已开源，位于： RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching 本文是一篇将光流算法RAFT迁移至立体匹配领域的文章，基于光路估计网络RAFT，提出了多级卷积GRU实现立体匹配的代价传播。文章对RAFT进行优化，并得到了一个高精度
基于pytorch的CREStereo立体匹配算法
小张的技术分享博客
01-06 2839
CREStereo目前在middlebury上的排名第三（前两名是cvpr2023的文章），非常值得学习和借鉴。CREStereo还提出了新的数据集，作者利用Blender生成我们的合成训练数据。每个场景由左右图像对和对应像素精确的密集视差图组成，由双虚拟相机和习惯位置的物体捕获。新的数据集大约400个g，奈何电脑不行，就没下载了，作者开源代码提供了两种方式:（2）百度网盘密码为：aa3g。
立体匹配简介（Stereo Matching/stereo correspondence）
WX_Chen的博客
02-27 2922
该问题的任务是从双目相机所获取的左眼图像和右眼图像中恢复出逐像素点的深度。由于双目相机中的平行极线约束，该问题又转化为左右眼图之间的逐像素匹配问题。 受限于训练数据的数量，同时也因为可能未找到该问题下的最佳网络结构，深度学习中的端到端的训练方法在立体视觉匹配上的表现依然未超过传统方法。这里的端到端的训练方法指的是：直接对输入图片进行一系列卷积以及一系列反卷积来回归出输出图像。由于获得双目
双目立体匹配_SGM算法
10-10
SGM算法在KITTI2015数据集上测评结果 开发环境：python=3.6、numpy=1.19.5、opencv-python=4.5.5.64 操作系统：Ubuntu20.04LTS 处理器：Intel(R) Core(TM) i7-9700 CPU @ 3.00GHz 实验记录： ...
基于SIFT的双目立体匹配系统
01-23
【标题】"基于SIFT的双目立体匹配系统"是一个深度感知技术的实践应用，它利用计算机视觉中的特征检测和匹配方法，实现对现实场景的三维重建。SIFT（尺度不变特征变换）是该系统的核心算法，它在图像处理领域具有重要...
双目校正和立体匹配 双目测距
03-26
双目校正和立体匹配是计算机视觉领域中的关键技术，它们在实现双目测距中起着至关重要的作用。双目测距，顾名思义，是通过两台摄像机（通常被称为左眼和右眼）获取的图像来计算场景中物体的距离。这种技术的核心原理...
RAFT-Stereo：用于立体匹配的多级递归场变换
3D视觉工坊
05-14 263
论文阅读《RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching》
薛定谔的猫头咕咕咕
04-19 1162
论文地址：https://arxiv.org/abs/2109.07547 源码地址：https://github.com/princeton-vl/RAFT-Stereo 概述   本文提出了一种适用于双目立体匹配的模型架构，基于光流估计网络RAFT，通过使用多级卷积GRU模块来在图像传播全局信息，并取得了不错的实验结果； 模型架构   对于给定的输入图像对 IL、IRI_L、I_RIL​、IR​，模型主要包含以下三个步骤： 使用权值共享的CNN提取特征、构建相关性匹配代价体金字塔、使用GRU模型来
基于python的PatchMatchStereo立体匹配算法实现
小张的技术分享博客
12-17 1416
PatchMatchStereo是Michael Bleyer等在2011年发表于British Machine Vision Conference（BMVC）上的一篇双目立体匹配算法文章，和AD-census、SGM都是非常经典的算法，PMSstereo原文链接在此，可以直接下载阅读。双目立体匹配算法：Patch Match Stereo实用详解教程【理论恒叨】【立体匹配系列】经典PatchMatch: （2）基于PatchMatch的视差估计。
《RAFT-Stereo：Multilevel Recurrent Field Transforms for Stereo Matching》论文笔记
m_buddy的博客
10-18 2288
参考代码：RAFT-Stereo 1. 概述 导读：RAFT算法是非常经典的立体匹配算法，在光流和立体匹配任务中有着广泛的运用。而这篇文章正是基于RAFT并将其运用到了立体匹配中，并且在如下的几个方面进行改进： 1）相比原生的RAFT算法钟重点关注X轴（W方向）的视差信息，前提是输入的图像对需要事先经过极线校准； 2）在GPU的update阶段使用stride为[8,16,32][8,16,32][8,16,32]的特征图进行运算，这样可以在迭代优化的同时更加增大网络感受野，从而增加对与大范围无/弱纹理区
双目视觉，立体视觉，双目标定，三维重建，深度估计，棋盘格，RAFTStereo,HitNet,深度估计
pcb931126的博客
07-27 522
双目深度估计、三维重建、立体视觉、双目视觉 Stereo Algorithms (Include:CREStereo,RAFT-Stereo,Hitnet,Stereo Transformers,RealtimeStereo,DistDepth) with TensorRT,ORT,OpenVINO
基于Opencv的几种立体匹配算法+ELAS
chuhang_zhqr的博客
12-06 1万+
同http://blog.csdn.net/chuhang_zhqr/article/details/51179881类似，采用 这两个经典的图片进行测试。关于BM和SGBM以及VAR的参数设置请参考 晨宇思远本文代码基于opencv2.4.9 本文源码地址在我的CSDN代码资源： http://download.csdn.net/detail/chuhang_zhqr/97037630
CVPR 2023 | IGEV：双目立体匹配网络新SOTA!
CV_Autobot的博客
04-03 2929
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群Title: Iterative Geometry Encoding Volume for Stereo MatchingPaper: https://arxiv.org/pdf/2303.06615.pdfCode: https://github.c...
立体视觉入门指南（7）：立体匹配
热门推荐
闲情逸致~
02-12 1万+
关于立体匹配，我之前写了很多博客，重复去写就没有必要，学习的朋友请阅读如下链接，本文我们随便聊聊立体匹配的方法论和弱纹理恢复问题。
双目立体匹配 sad python
10-14
双目立体匹配是一种计算机视觉中的技术，主要用于将双目摄像头获取的两个视角的图像进行配准，获得二者之间的深度信息。Python是一种流行的编程语言，被广泛应用于科学计算和计算机视觉领域。 双目立体匹配算法旨在通过分析两个视角上的图像，找到对应点的像素坐标，进而计算该点的深度。这个过程涉及到图像预处理、特征提取以及匹配搜索等步骤。 在Python中，有许多开源的库和工具可用于实现双目立体匹配。例如，OpenCV库提供了丰富的图像处理和计算机视觉算法，包括双目立体匹配算法。使用OpenCV，我们可以通过加载两个视角的图像，获取它们的特征点，然后应用立体匹配算法来生成深度图。 Sad（Sum of Absolute Differences）是一种常用的匹配代价度量方法，用于计算两个像素块之间的差异。在双目立体匹配中，Sad是一种常用的代价度量方法之一，用于衡量两个像素块之间的相似度。通过计算像素块的Sad值，我们可以确定最佳匹配，并从而估计深度信息。 Python作为一种易学易用的编程语言，广泛运用于双目立体匹配的实现和应用中。它具有丰富的图像处理和计算机视觉库，并且有着不断更新和完善的社区支持。与其他编程语言相比，Python的语法简洁直观，使得双目立体匹配算法的实现更加便捷和高效。 总而言之，双目立体匹配是计算机视觉中的一项重要技术，而Python作为一种流行的编程语言，能够提供丰富的工具和库来实现该技术。通过使用Python和相关的图像处理库，我们可以实现双目立体匹配算法，从而获取深度图像，并在诸多应用领域中发挥其重要作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值