![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
传统双目论文笔记
文章平均质量分 60
记录阅读的立体匹配的传统方法的论文
爱钻研的小铭
Time will tell.
展开
-
《PatchMatch Stereo - Stereo Matching with Slanted Support Windows》
1. 研究问题普通的局部立体匹配方法假设支持窗口内视差一致,存在正面平行的偏向,导致倾斜表面重建出现较大偏差。2. 研究方法基于PatchMatch,提出PatchMatch Stereo算法,首先为每个像素初始化一个倾斜视差平面,然后通过迭代的视差传播不断优化视差图,最后使用左右一致性检测、视差填充和加权中值滤波进行后处理。该方法还可以用于构建全局方法的数据项,并消除正面平行的偏向。模型PatchMatch推理视差平面后处理建立全局算法的数据项可以用PatchMatch stere原创 2021-11-09 15:35:16 · 834 阅读 · 0 评论 -
《Variant center‑symmetric census transform for real‑time stereo vision architecture on chip》
算法流程这篇文章提出了一种基于改进的CT的SGM算法,并且在FPGA平台上进行实现,提高了匹配精度,同时满足实时性。本文的贡献:变化的CSCT自适应权值的汉明距离改进的SGM代价聚合FPGA平台实现背景:Center‑symmetric census transformWeighted Hamming distance因为CSCT的代价范围比CT减小了,所以会导致误匹配率上升,所以要加入权重。这个权重是在计算CSCT的时候加的。Semi‑global matching本原创 2021-07-11 22:17:53 · 238 阅读 · 2 评论 -
ELAS:Efficient Large-Scale Stereo Matching
转载:双目立体匹配算法:ELAS转载 2021-07-08 11:08:06 · 548 阅读 · 0 评论 -
《Hybrid Approach for Accurate Depth Acquisition with Structured Light and Stereo Camera》
算法介绍这是一篇基于结构光的立体匹配方法,它不是单纯的利用结构光产生的纹理信息,然后利用立体匹配计算视差图,而是混合使用结构光进行视差图计算,并且基于该视差图确定一个视差搜索范围,然后又用立体匹配的BP算法产生一个视差图,并且对这两个视差图进行置信度的计算,然后将两个视差图进行融合作为最终的视差图,说的有点乱,下面给出workflow:这里面的算法就不详细介绍了,因为我也没有仔细研究这篇文章,毕竟有点老了,这里只是提供一个思路。单目结构光有什么不足?投影仪需要进行标定,标定难且标定精度低于相机标原创 2021-07-13 17:24:08 · 126 阅读 · 0 评论 -
《A Resource-Efficient Pipelined Architecture for Real-Time Semi-Global Stereo Matching》
算法流程这篇文章提出的是一种基于SGM的带有加权路径代价聚合的方法,为了节省硬件资源,还采取了图像下采样和视差跳跃的方法。算法在FPGA平台上实现。算法流程如下:预处理:下采样,将行数缩减为原来的一半,采取的方法是将相邻的两行取平均,这样每一行都包含更多的信息量,且节省内存和时间;3 * 3 高斯滤波降噪,高斯滤波的窗口为[1, 2, 1, 2, 4, 2, 1, 2, 1]。Census Transform:因为数据集是KITTI数据集,汽车驾驶主要集中于路面的情况,对于两边不是太关注,所以这里原创 2021-07-11 18:10:03 · 273 阅读 · 0 评论 -
《Single shot laser speckle based 3D acquisition system for medical applications》
算法流程这篇文章是基于特征匹配的双目散斑立体匹配的方法。我们都知道,基于空间结构光的结构光三维重建的不足是点云密度低和算法复杂。这篇文章用散斑结构光提供光信息,但抛弃了传统的基于数字相关的方法来做立体匹配,而应用KLT跟踪 算法来定位匹配点,从而得到没有离群点的高精度人体皮肤三维点云,这项技术可以用于医学领域。先给出文章的workflow:光学系统构建由于散斑大小和散斑密度是相互矛盾的,它又会影响匹配的精度和密度,所以散斑大小的设计很重要。改变L 和 D 之间的距离可以改变散斑的平均大小。散斑大原创 2021-07-14 12:07:04 · 335 阅读 · 0 评论 -
《Real-time Stereo Vision: Optimizing Semi-Global Matching》
算法概述这篇文章是基于SGM的扩展参数模型,考虑了不同路径方向的单独惩罚,不同路径聚合代价的加权,以及与灰度梯度相关的惩罚。对于8个方向的SGM来说,扩展模型有20个参数,不宜进行手动调参,所以作者还提出利用covriance matrix adaptation evolution strategy (CMA-ES)进化算法来自动调参,调参可以在Shark3 open-source machine learning library [1]进行实现。然后基于GPU进行SGM算法的加速,结果可以达到11.7f原创 2021-07-11 10:21:50 · 280 阅读 · 0 评论 -
《High Throughput Hardware Architecture for Accurate Semi-Global Matching》
算法流程这篇文章是基于SGM的一个改进,增加了不同路径聚合代价的自适应权值,使得在视差不连续处的精度更高,并且在不占用额外内存的情况下,在四条聚合路径的基础上增加了第五条路径,使得视差图的精度更高。这篇文章 是基于FPGA平台进行实现的。算法的流程如下:1. 预处理:用 3 * 3 的高斯滤波对 rectified images 进行去噪,然后用 Laplace filter 来增强边缘,用于代价聚合步骤中计算P2的值。2. 计算初始代价空间:结合TAD和Sobel gradient进行代价计算。原创 2021-07-11 16:17:40 · 215 阅读 · 0 评论 -
《Single-Shot Structured Light Sensor for 3D Dense and Dynamic Reconstruction》
简介这篇文章制作了一套基于散斑结构光的双目成像系统,包含两个相机和一个衍射光学元件(DOE)投射器。然后,提出了四点算法上的改进:散斑图案算法的设计提出高精度的双目相机标定方法以及改进的极线校正的方法提出改进的SGM方法算法硬件系统和算法流程:1.散斑图案的设计增加散斑信息是为了丰富场景的纹理,而散斑的纹理的丰富程度是跟散斑点的间隔以及亮度衰减范围相关的。所以先来认识一下这两个重要参数。文章指出,这两个参数是相关的。如图所示,散斑的亮度分布其实就是高斯分布,亮度衰减范围(BAR)定原创 2021-07-15 16:39:11 · 429 阅读 · 1 评论 -
《Performance Evaluation of a Census-Based Stereo Matching Algorithm on Embedded and Multi-Core...》
文章概况这篇文章是基于census的局部立体匹配的文章,主要是为了评估不同硬件平台上的运行帧数。下面是这篇文章算法的workflow,没什么特别的简单说一下。看workflow已经对整个流程很清晰了,这里指的注意的是有两点:Sparse Census Transform弱纹理优化如果想知道弱纹理优化,那么可以在我的上一篇文章查看《A Census-Based Stereo Vision Algorithm Using Modified Semi-Global Matching and Pla原创 2021-07-09 10:08:21 · 150 阅读 · 0 评论 -
《Embedded real-time stereo estimation via Semi-Global Matching on the GPU》
算法流程优化算法优化1:Center-Symmetric Census Transform (CSCT) + CSCT并行 + MC并行优化2:代价聚合并行实验结果除了在集成了 8 个 ARM 内核和 2 个 Maxwell SM 且 TDP 为 10W 的 NVIDIA Tegra X1 上执行之外,为了进行比较,我们还在高端 NVIDIA Titan X 上执行,它具有 24 个 Maxwell SM 和 250W。借鉴可以借用CSCT以及这篇文章关于GPU优化的伪代码。原创 2021-07-11 11:40:24 · 225 阅读 · 0 评论 -
《Binocular Depth Estimation Based on Diffractive Optical Elements and the Semi-global Matching ...》
文章总览这篇文章是用DOE生成散斑,结合SGM算法做的一个双目深度测量系统。原理很简单,就不用说了,这篇文章是一片应用的文章。算法流程DOE也称为二元光学元件,基于衍射的原理,它可以将入射的激光(红外光)通过DOE元件,进行衍射,产生随机散斑。相比于编码结构光,DOE投射的散斑不易受环境光强度的影响。由于投影仪不是成像设备,所以很难标定已经标定精度低,因此结合散斑提供的特征信息,以及双目系统,形成双目散斑系统。然后将散斑打在场景中,用双目相机进行拍摄,相机标定后,用SGM算法进行立体匹配获取原创 2021-07-15 21:44:18 · 257 阅读 · 0 评论 -
《A fast stereo matching algorithm suitable for embedded real-time systems》
算法流程这篇文章主要是以上述的算法流程进行的,分别在CPU, GPU, DSP平台上实现。但是具体怎么进行并行化处理,SIMD指令这些还不了解。这篇博客主要还是给出几个注意点加深印象:1、由视差计算三维点坐标2、MDE/s的定义Mde/s=width∗height∗disps∗fpsMde/s = width * height * disps * fpsMde/s=width∗height∗disps∗fps3、视差填充不是必要的,因为这种外推视差的置信度不高。4、sparse CT 和原创 2021-07-10 21:15:06 · 170 阅读 · 0 评论 -
《Real-Time Semi-Global Matching on the CPU》
文章概况这是算法的workflow,应用了下采样算法和并行技术进行CPU加速,但是下采样的算法没看明白。以后再进行补充。原创 2021-07-09 11:10:43 · 143 阅读 · 0 评论 -
《Active stereo-matching for one-shot dense reconstruction》
算法流程这篇文章是基于特征匹配的主动式双目立体匹配算法,由于被动的双目系统在无纹理区域会产生大量的误匹配点,为了改善这个不足,向场景中主动投射散斑信息,增加人为的特征信息。下面给出文章的算法流程:值得说明的几点:投影仪最好 置于两个相机的中间,这样,两个相机排到的图案最相似,避免散焦造成的影响。图像增强:为了克服不同反射率和不同光照造成的左右图的光度失真,对图像的对比度进行图像增强,先用DC subtraction,然后用局部直方图均衡。特征提取:用Harris 角点检测器和MSER blob原创 2021-07-13 15:58:34 · 128 阅读 · 0 评论 -
《An efficient photogrammetricstereomatchingmethod for high-resolutionimages》
文章概况基于SGM算法,针对高分辨率航空影像,提出一种基于CPU平台的系统化高效立体匹配算法优化方法,主要的创新点如下: 设计了一种高效的以数据并行模型为基础的并行计算模型 对于SGM算法的4个主要步骤进行SSE指令集优化 提出一种分层SGM立体匹配模型优化1:多核并行优化2:Single Instruction Multiple, SIMDSIMD结构示意图SIMD五种使用方法指令集选择SSE指令集指令集运算步骤基于SSE指令集的SGM匹配算法优化优化原创 2021-07-10 11:40:32 · 217 阅读 · 0 评论 -
《Evaluation of a New Coarse-to-Fine Strategy for Fast Semi-Global Stereo Matching》
文章概况这篇文章提出一种由粗到精的快速SGM方法。先将原图进行下采样,得到半分辨率的图像,然后用SGM计算视差图,视差范围是 D / 2,将得到的视差图进行上采样,采用线性插值的方法进行填充,并且进行左右一致性检测得到粗视差图。利用粗视差图的视差信息来限制视差搜索范围。具体是:在全分辨率图像上进行视差计算,视差范围根据粗视差图来确定,对于有效视差值,视差范围是d ∈ {δ − 4, δ − 3 . . . , δ + 3, δ + 4} ⊂ N,其中σ\sigmaσ是粗视差,对于接近0或D的有效视差原创 2021-07-09 15:03:49 · 123 阅读 · 0 评论 -
《A Census-Based Stereo Vision Algorithm Using Modified Semi-Global Matching and Plane Fitting to ..》
文章概况先给出workflow,直观的进行描述:这篇文章是基于census transform的改进的SGM算法。开头将左右图像进行census correlation就不必说了,然后经过改进的SGM进行代价聚合,并得到视差图,这里的改进是参考的另一篇文章《An optimized software-based implementation of a census based stereo matching algorithm》,感兴趣的话可以去阅读以下,主要就是牺牲一点准确度,达到降低时间复杂度和内原创 2021-07-08 23:16:57 · 332 阅读 · 0 评论 -
《Iterative Semi-Global Matching for Robust Driver Assistance Systems》
算法总结这篇文章介绍一种迭代的SGM方法,叫做iSGM,与《Evaluation of a New Coarse-to-Fine Strategyfor Fast Semi-Global Stereo Matching》是同一作者,也是对这篇文章的一个改进。改进是因为SGMf这个方法中过渡依赖于粗视差图的精度,如果因为噪声等影响导致粗视差图不准确,那么就会导致精匹配时视差搜索范围的错误,导致无法得到准确的视差。而iSGM是利用了视差图中像素点邻域的信息,来缩小视差搜索范围,使得该范围更加准确。方法比较原创 2021-07-09 20:50:22 · 196 阅读 · 0 评论 -
《Weighted Semi-Global Matching and Center-Symmetric Census Transform for Robust Driver Assistance》
文章概括这篇文章是对基于census transform的SGM的扩展,有两处改进的地方:提出Center-Symmetric Census Transform,效果跟原来的census transform基本一样,而且计算效率和存储效率提高了,并且在计算左右图两点的汉明距离时,提出基于窗口的加权汉明距离计算。文章中的权重是规定好的,可以考虑加入自适应权重来做。提出路径加权代价聚合策略(Weighted Semi-Global matching (wSGM)),该权重是根据平面的发现爱娘...原创 2021-07-08 09:23:48 · 422 阅读 · 3 评论 -
《A FA ST SEGMENTATION-DRIVEN ALGORITHM FOR ACCUR ATE STEREO CORRESPONDENCE》
算法简介这篇文章提出了一种基于分割的快速代价聚合的策略,其实很简单,就是将固定窗口分成多个块进行代价聚合,每个块分配一定的权重,依据就是是否和窗口的中心点位于同一段,分割是基于mean-shift方法。下面就主要给出窗口的分块策略。这个就是值得借鉴的点。可以考虑一下结合这个窗口分块的策略,然后想一种比较快速的计算权重的方法。...原创 2021-07-24 16:13:03 · 88 阅读 · 0 评论 -
《On Building an Accurate Stereo Matching System on Graphics Hardware》
算法简介这篇文章是ad-census在gpu上的实现,作者提出了一些改进。ad-census也很熟悉了,在这里记下来,加以巩固,并提炼一些可借鉴的观点。下面直接给出文章的算法流程:AD-census计算代价。结合AD在重复区域表现好和census在无纹理区域表现好的优势,所以将AD和census进行结合。并且将两个代价进行归一化,将两者的范围都规范化0-1的范围。改进的十字交叉域代价聚合。基于颜色相似度和空间接近度对每个像素计算十字臂的长度,为了在无纹理区域和深度不连续区域获得更好的结果,原创 2021-07-24 15:49:20 · 600 阅读 · 0 评论 -
《Segment-Based Stereo Matching Using Belief Propagation and a Self-Adapting Dissimilarity Measure1》
算法简介这篇文章是基于分割的BP算法,视差图的效果很好,但是一张图像需要几十秒,速度很慢,其实基于分割的方法都很慢。给出算法流程:这篇博客就不对算法进行详细的描述了,只记录一下文章使用的代价计算的方法。他这里是用了结合了SAD和GRAD进行代价计算,两者之间用一个权值ω\omegaω进行平衡,权值是通过左右一致性检测后最大化可靠点数来确定的,但这个可靠点是什么文章也没有说明白,估计是和真实视差图对比吧,也就是试出来的。实验结果可以看到视差图的效果特别好,比SGM和CSGM都要高的准确率。原创 2021-07-23 17:12:58 · 240 阅读 · 0 评论 -
《Adaptive Support-Weight Approach for Correspondence Search》
算法简介这篇文章提出了自适应权值(ASW)的立体匹配方法,基于颜色相似度和空间相似度的来对窗口内的每个像素赋予权值,然后基于TAD计算代价并代价聚合,结果显示,精度吊打自适应窗口和多窗口的方法。从他发表在CVPR和TPAMI上面就可以看到,这篇文章的历史地位。但是一位大佬的验证,这种自适应权值的方法,其实精度并不高,还比不过NCC的方法,所以我也不再去挖掘这篇文章了。而且原文需要1分钟才能获得一张视差图,完全没有办法进行实时获取视差图和深度图。...原创 2021-07-23 10:04:26 · 315 阅读 · 0 评论 -
《Real-Time Correlation-Based Stereo Vision with Reduced Border Errors》
算法简介这篇文章主要是为了改善深度不连续区域误匹配率高的问题,提出了一种多窗口的SAD立体匹配算法,然后后处理部分用左右一致性检测、唯一性检测以及亚像素插值,这些是常规操作,还提出了一种边界修正的算法,改善边界问题。但是看结果的视差图挺差的,所以这篇博文也就不深究边界修正的算法了,感兴趣可以看一下原文。下面就主要讲一下它的多窗口的SAD算法吧:bcd三个图对应三种多窗口的选择:中间窗口 + 2个最佳的外围窗口中间窗口 + 4个最佳的外围窗口中间窗口 + 4个最佳次外围窗口 + 8个最佳的外原创 2021-07-22 11:32:47 · 187 阅读 · 2 评论