【论文学习笔记-14】Bilateral Grid Learning for Stereo Matching Networks

最新推荐文章于 2023-12-11 20:50:54 发布
最新推荐文章于 2023-12-11 20:50:54 发布
阅读量566 收藏
点赞数
分类专栏： 学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Imperfactions/article/details/119156385
版权

【论文学习笔记-14】Bilateral Grid Learning for Stereo Matching Networks

Main Contribution

提出了一个基于双边网格的保边的cost volume上采样，主要的计算在低分辨率下进行，可以保持高速度，同时精度高。

Method

关键模块是Cost volume Upsampling in Bilateral Grid（CUBG）module，该模块输入一个低分辨率的Cost volume，先经过一个四维的双边滤波，然后通过Feature map的2d切片对每个通道进行guide并上采样为原分辨率。
在这里插入图片描述

本文将该模块加入了GCNet，PSMNet，GANet和DeepPrunerFast的CostVolume中对低分辨率Cost Volume进行上采样，其它模块不变。

本文基于CUBG提出了BGNet

在这里插入图片描述

特征提取：前三层ks = 3*3，stride为2,1,1的卷积；然后接四个残差快，stride为1,2,2,1。得到1/8分辨率；之后接一个沙漏结构获扩大感受野。最后所有1/8分辨率的feature拼在一起，得到352通道的特征。

Cost Aggregation

使用group-wise correlation,将特征分为N组，每组之间算内积相似度，N=44（组），最后得到BDNHW的costvolume。随后通过一个沙漏结构和两层3D卷积降低N的数量：44->16。之后通过一个U-Net结构的3D卷积网络进行Cost Aggregation。得到低分辨率的Cost Volume。

最后原分辨率的Cost Volume通过Soft argmin获得视差预测图。loss为L1 loss。

Experiment

在这里插入图片描述

Imperfactions
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习论文: Lightweight and Progressively-Scalable Networks for Semantic Segmentation及其PyTorch实现
mingo_敏
08-01 840
LPSNet首先构建一个微型网络。然后，LPSNet通过一次扩展单个维度（卷积块的数量、通道的数量或输入分辨率）逐步将微型网络扩展到更大的网络，以满足最佳速度/准确性权衡。LPSNet在Cityscapes上实现了73.4%mIoU和413.5FPS的速度。......
BilateralGrid
07-07
Unity 的实时双边滤波器 实时双边滤波器 [1] 参考 Chen, J.、Paris, S. 和 Durand, F. (2007)。 使用双边网格进行实时边缘感知图像处理。 ACM 图形交易 (TOG)，1-9。 取自
论文阅读笔记 《Bilateral Grid Learning for Stereo Matching Networks》[2021]
weixin_56127994的博客
09-01 553
论文提出了一种边缘保留（edge-preserving）的cost volume上采样模块，其基于可学习的双边网格（bilateral grid）中的slicing操作（这里我翻译成了“切片”），这让我们能够在可学习的guidance map的指导下，从低分辨率的cost volume中获得高质量且高分辨率的cost volume。双边滤波器是一种边缘保留的滤波器，在图像去噪方面有广泛的应用，但是，双边滤波器的原始实现是耗时的，所以，双边网格（Bilateral Grid）被提出来用于加快双边滤波的速度。
论文阅读笔记：Bilateral Grid Learning for Stereo Matching Networks
weixin_42677507的博客
06-18 2510
摘要 立体匹配网络的实时性能对于许多应用都很重要，例如自动驾驶、机器人导航和增强现实 (AR)。尽管近年来立体匹配网络取得了重大进展，但平衡实时性能和准确性仍然具有挑战性。在本文中，我们提出了一种有效的边缘保留的匹配代价卷上采样模块，它是基于可学习的双边网格中的切片操作。切片层是无参数的，在可学习引导图的作用下，这使我们能够从低分辨率的特征图获得高质量的匹配代价卷。我们提出的成本量上采样模块可以无缝嵌入到许多现有的立体匹配网络中，例如 GCNet、PSMNet 和 GANet。这些网络可因此被加速，同时保持
双边格网(bilateral grid)
flow_specter的博客
07-24 7422
双边滤波速度很慢 —> 加速，双边网格。 首先明确一点，双边网格本质上是一个数据结构。 以单通道灰度值为例，双边网格结合了图像二维的空间域信息以及一维的灰度信息，可认为其是一个3D的数组。 举一个简单的例子，假设现在你手上有一只用于滤波/平滑的笔刷，当你用这只笔刷在图像EEE上的某一个位置(x,y)(x,y)(x,y)处点击了一下，对应的，3D双边网格的(x,y,E(x,y))(x,y,E(x,y))(x,y,E(x,y))位置将出现一个点，这个点即对应你在2D影像EEE上点击的那个点。随着这只笔刷
双边网格学习、Bilateral Learning
Alocus的博客
03-20 3107
目录 背景 方法 结论 挖坑，双边网格学习。双边网格具有很多优良的特性，在图像恢复等方面还具有很多的价值可以挖掘，因此本系列我会把相关论文和代码以我的理解写成博客，留做记录，代码运行过程中如果有问题或者发现我也会写到博客里。 背景 双边网格学习有些相似于双边滤波，双边滤波（Bilateral Filter）是非线性滤波中的一种，结合图像的空间邻近度与像素值相似度。 在滤除噪声、平滑图像的同时，又保存边缘。一个负责计算空间邻近度 的权值，也就是常用的高斯 滤波器原理。而另一个负责 计算像素值相似度
Cross-Scale Cost Aggregation for Stereo Matching立体匹配算法介绍
chuhang_zhqr的博客
01-10 7588
最近，研究了下CVPR2014上的一篇基于多尺度代价聚合的立体匹配算法，这个作者提供了原代码，运行了下，发现效果真心不错，不开后端处理的话，时间在0.4s左右。这个算法比较牛逼的有两点： 1：结合多尺度思想，对原始图像进行下采样，然后在每层图像上计算匹配代价，进行代价聚合，然后多尺度得到的视差进行结合，作为最终的代价聚合值。 2：提供了一个框架，里面包含立体匹配很多常用的经典的方法，可以在每一步
论文笔记-BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Lyndsey的博客
12-06 1253
一、背景介绍 时间分辨率是影响视频质量的一个重要因素。为了提高时间分辨率，已经提出了许多视频插值算法，它们合成两个实际帧之间的中间帧。这些算法广泛应用于各种应用，包括视觉质量增强、视频压缩、慢动作视频生成和视图合成。然而，由于各种因素，如大的非线性运动、遮挡和光照条件的变化，视频插值具有挑战性。特别是，为了产生高质量的中间帧，精确地估计运动或光流矢量是重要的。 最近，随着基于深度学习的光流方法的发展，已经开发了基于流的视频插值算法，产生了可靠的插值结果。Niklaus等基于前向扭曲生成中间帧。然而，由于孔洞
Deep Bilateral Learning for Real-Time Image Enhancement文献调研.docx
08-01
深度学习与图像处理领域的研究近年来取得了显著的进展，其中，"Deep Bilateral Learning for Real-Time Image Enhancement"（2017年SIGGRAPH会议发表）这篇论文提出了一个创新性的方法，旨在实现实时的图像质量提升...
Deep Bilateral Learning for Real-Time Image Enhanceme/hdrnet 笔记
沉剑池
05-04 4622
本文参考论文Deep Bilateral Learning for Real-Time Image Enhanceme，按照原文中的第三章，通过阐述重点思想并结合代码来介绍hdrnet的网络结构。 论文project地址：https://groups.csail.mit.edu/graphics/hdrnet/ 3 OUR ARCHITECTURE 大部分的运算发生在低分辨率的图像上，即上...
双边滤波 -Bilateral Filtering
09-30
双边滤波 - Bilateral Filtering 源码，可以直接用 ，建个工程
bilateral grid（双边网格）
最新发布
qq_45821834的博客
12-11 1427
双边网格(bilateral grid)的原理全解析，非常通俗易懂
学习《Hardware-Efficient Bilateral Filtering for Stereo Matching》一文笔记。
07-12 1682
个人收藏了很多香港大学、香港科技大学以及香港中文大学里专门搞图像研究一些博士的个人网站，一般会不定期的浏览他们的作品，最近在看杨庆雄的网点时，发现他又写了一篇双边滤波的文章，并且配有源代码，于是下载下来研读了一番。
【论文笔记-Stereo】Pyramid Stereo Matching Network
zhiwei2coder的博客
04-13 2259
论文思想 笔记 结构 论文思想 使用ResNet提取特征 用dilated convolution增大感受野 用Pyramid pooling module，提取各个scale的特征，使之包含global的context信息 用feature volume shift构建volume 用stacked hourglass 3D CNN（encoder-deco...
双边滤波和双边网格
qq26983255的博客
11-04 5714
双边滤波 双边滤波器也是一种保边滤波器．和导向图滤波器一样，可以达到在平坦区域进行均值（高斯）滤波的效果，在边缘不进行滤波的效果．其原理为一个与空间距离相关的高斯函数与一个灰度距离相关的高斯函数相乘． 其中空间距离指的是当前点与中心点的欧式距离。空间域高斯函数其数学形式为： (xi,yi）为当前点位置，（xc,yc）为中心点的位置，sigma为空间域标准差. 灰度距离指的是当前点灰度（像素点值）与中心点灰度的差的绝对值。值域高斯函数其数学形式为 其中gray(xi,yi)为当前点灰度值，.
CVPR2021|用于立体匹配的可学习双边网格
3D视觉工坊
06-27 2237
编辑丨3D视觉开发者社区高精度的实时立体匹配网络是时下研究的一个热点，它在自动驾驶、机器人导航和增强现实等领域中有着广泛的应用。虽然近年来对立体匹配网络的研究已经取得了显著的成果，但要同时...
双目立体匹配修炼之路
奔跑的回锅肉の博客
10-01 2682
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、双目立体匹配是什么？双目视觉：视差：“对极约束”概念：对极几何（Epipolar Geometry）如何计算得到深度呢？二、《Bilateral Grid Learning for Stereo Matching Network》论文学习1.文章简介摘要论文学习之路双边滤波双边网格三、常用数据集总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学
【CVPR2021】用于立体匹配的可学习双边网格
limingmin2020的博客
03-23 583
高精度的实时立体匹配网络是时下研究的一个热点，它在自动驾驶、机器人导航和增强现实等领域中有着广泛的应用。虽然近年来对立体匹配网络的研究已经取得了显著的成果，但要同时兼顾实时性和高精度仍然是一个挑战。现有的高精度立体匹配网络，通常需要在较高的分辨率建立代价空间。比如，GANet在1/3分辨率建立代价空间，PSMNet在1/4分辨率，但这会影响网络的效率（GANet处理一对1242×375的图像，需要1.8s，PSMNet需要0.41s）。
三维视觉论文阅读：DeepPruner2019双目立体匹配
Yan
01-14 990
论文 DeepPruner: Learning Efficient Stereo Matching via Differentiable PatchMatch 摘要 DeepPruner这篇文章，本人在2019年上半旬就大致读过一次，但是那时候
改进Bilateral-Frangi滤波提升桥梁裂缝高噪声检测准确率
本研究论文主要探讨了一种针对桥梁底部裂缝检测问题的新型算法，即"基于Bilateral-Frangi滤波的桥梁裂缝检测算法"。传统的Frangi滤波算法因其物理模型与裂缝的灰度值分布高度契合，在裂缝检测中表现出色。然而，常规...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值