【论文学习笔记-14】Bilateral Grid Learning for Stereo Matching Networks

最新推荐文章于 2022-09-01 20:16:41 发布
最新推荐文章于 2022-09-01 20:16:41 发布
阅读量539 收藏
点赞数
分类专栏： 学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Imperfactions/article/details/119156385
版权

【论文学习笔记-14】Bilateral Grid Learning for Stereo Matching Networks

Main Contribution

提出了一个基于双边网格的保边的cost volume上采样，主要的计算在低分辨率下进行，可以保持高速度，同时精度高。

Method

关键模块是Cost volume Upsampling in Bilateral Grid（CUBG）module，该模块输入一个低分辨率的Cost volume，先经过一个四维的双边滤波，然后通过Feature map的2d切片对每个通道进行guide并上采样为原分辨率。
在这里插入图片描述

本文将该模块加入了GCNet，PSMNet，GANet和DeepPrunerFast的CostVolume中对低分辨率Cost Volume进行上采样，其它模块不变。

本文基于CUBG提出了BGNet

在这里插入图片描述

特征提取：前三层ks = 3*3，stride为2,1,1的卷积；然后接四个残差快，stride为1,2,2,1。得到1/8分辨率；之后接一个沙漏结构获扩大感受野。最后所有1/8分辨率的feature拼在一起，得到352通道的特征。

Cost Aggregation

使用group-wise correlation,将特征分为N组，每组之间算内积相似度，N=44（组），最后得到BDNHW的costvolume。随后通过一个沙漏结构和两层3D卷积降低N的数量：44->16。之后通过一个U-Net结构的3D卷积网络进行Cost Aggregation。得到低分辨率的Cost Volume。

最后原分辨率的Cost Volume通过Soft argmin获得视差预测图。loss为L1 loss。

Experiment

在这里插入图片描述

Imperfactions
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文研究-Image Deringing with Adaptive Bilateral Filter.pdf
08-16
自适应图像去振铃效应滤波器，翟广涛，徐奕，我们将二层滤波器应用于图像去除振铃效应。通过图像边缘检测和距离变换，我们区分出图像的重要边缘和纹理信息，然后用来调整二层
bilateral grid（双边网格）
最新发布
qq_45821834的博客
12-11 1002
双边网格(bilateral grid)的原理全解析，非常通俗易懂
论文阅读笔记 《Bilateral Grid Learning for Stereo Matching Networks》[2021]
weixin_56127994的博客
09-01 470
论文提出了一种边缘保留（edge-preserving）的cost volume上采样模块，其基于可学习的双边网格（bilateral grid）中的slicing操作（这里我翻译成了“切片”），这让我们能够在可学习的guidance map的指导下，从低分辨率的cost volume中获得高质量且高分辨率的cost volume。双边滤波器是一种边缘保留的滤波器，在图像去噪方面有广泛的应用，但是，双边滤波器的原始实现是耗时的，所以，双边网格（Bilateral Grid）被提出来用于加快双边滤波的速度。
BilateralGrid
07-07
Unity 的实时双边滤波器 实时双边滤波器 [1] 参考 Chen, J.、Paris, S. 和 Durand, F. (2007)。 使用双边网格进行实时边缘感知图像处理。 ACM 图形交易 (TOG)，1-9。 取自
Bilateral-Filtering.rar_Bilateral-Filtering_Bilateral_filter_bil
07-15
Bilateral filter
双边格网(bilateral grid)
flow_specter的博客
07-24 7046
双边滤波速度很慢 —> 加速，双边网格。 首先明确一点，双边网格本质上是一个数据结构。 以单通道灰度值为例，双边网格结合了图像二维的空间域信息以及一维的灰度信息，可认为其是一个3D的数组。 举一个简单的例子，假设现在你手上有一只用于滤波/平滑的笔刷，当你用这只笔刷在图像EEE上的某一个位置(x,y)(x,y)(x,y)处点击了一下，对应的，3D双边网格的(x,y,E(x,y))(x,y,E(x,y))(x,y,E(x,y))位置将出现一个点，这个点即对应你在2D影像EEE上点击的那个点。随着这只笔刷
论文阅读笔记：Bilateral Grid Learning for Stereo Matching Networks
weixin_42677507的博客
06-18 2358
摘要 立体匹配网络的实时性能对于许多应用都很重要，例如自动驾驶、机器人导航和增强现实 (AR)。尽管近年来立体匹配网络取得了重大进展，但平衡实时性能和准确性仍然具有挑战性。在本文中，我们提出了一种有效的边缘保留的匹配代价卷上采样模块，它是基于可学习的双边网格中的切片操作。切片层是无参数的，在可学习引导图的作用下，这使我们能够从低分辨率的特征图获得高质量的匹配代价卷。我们提出的成本量上采样模块可以无缝嵌入到许多现有的立体匹配网络中，例如 GCNet、PSMNet 和 GANet。这些网络可因此被加速，同时保持
基于Patachmatch的stereo matching笔记（二）：《DeepPruner》
weixin_44762713的博客
08-22 421
DeepPruner 论文：DeepPruner: Learning Efficient Stereo Matching via Differentiable PatchMatch（2019） 1. Introduction 目标是显着加快当前最先进的深度立体算法的运行时间，以实现实时推理。首先利用一种新颖的可微 PatchMatch 算法来获得成本量的稀疏表示。 然后利用这种表示来学习每个像素要修剪的范围。 最后，利用图像引导细化模块进一步提高性能。 由于所有组件都是可微的，因此可以以端到端的方式训练整个
三维视觉论文阅读：DeepPruner2019双目立体匹配
Yan
01-14 941
论文 DeepPruner: Learning Efficient Stereo Matching via Differentiable PatchMatch 摘要 DeepPruner这篇文章，本人在2019年上半旬就大致读过一次，但是那时候
双边滤波和双边网格
qq26983255的博客
11-04 5387
双边滤波 双边滤波器也是一种保边滤波器．和导向图滤波器一样，可以达到在平坦区域进行均值（高斯）滤波的效果，在边缘不进行滤波的效果．其原理为一个与空间距离相关的高斯函数与一个灰度距离相关的高斯函数相乘． 其中空间距离指的是当前点与中心点的欧式距离。空间域高斯函数其数学形式为： (xi,yi）为当前点位置，（xc,yc）为中心点的位置，sigma为空间域标准差. 灰度距离指的是当前点灰度（像素点值）与中心点灰度的差的绝对值。值域高斯函数其数学形式为 其中gray(xi,yi)为当前点灰度值，.
双边滤波_双边滤波_nan_bilateralfilter_论文_
10-02
双边滤波，包含效果图，以及其matlab实现，多种论文供参考
Fast-Adaptive-Bilateral-Filtering-master (1).zip
04-13
Fast-Adaptive-Bilateral-Filtering-master快速自适应双边滤波
Deep Bilateral Learning for Real-Time Image Enhancement文献调研.docx
08-01
Deep Bilateral Learning for Real-Time Image Enhancement文献调研
双边滤波 -Bilateral Filtering
09-30
双边滤波 - Bilateral Filtering 源码，可以直接用 ，建个工程
【论文学习笔记-13】GwcNet：Group-wise Correlation Stereo Network（2019CVPR）
Imperfactions的博客
08-17 1504
【立体匹配专题文献-5】GwcNet：Group-wise Correlation Stereo Network（2019CVPR） 本文提出了简单但高效的group-wise correlation方法。首先提取多层次的特征并叠加，获取高位的特征表示fl,fr。然后特征被分为若干组，然后对应组之间进行互相关操作，获得group-wise correlation maps，最后correlation maps打包形成最后的4D Cost Volume。多重matching cost计算能减少信息的损失。
【论文学习笔记-15】MADNet：自适应实时立体匹配网络（CVPR2019 ORAL）
Imperfactions的博客
08-27 1145
MADNet：自适应实时立体匹配网络（CVPR2019 ORAL）网络结构自适应模型
【论文学习笔记-5】立体匹配之MC-CNN
Imperfactions的博客
07-29 1121
立体匹配之MC-CNN Cross-based cost aggregation 十字架聚合法,对costvolume中每个像素进行上下左右四个方向的十字架延伸，各方向延伸长度由如下两个因素控制： ①当十字架中心像素和待延伸像素的pixel intensity的绝对值差小于阈值； ②当两像素点的空间距离小于阈值。 以上两点同时满足时进行延伸
【论文学习笔记-6】立体匹配：MGM（More global matching）和R3SGM（Real-time Raster-Respecting global matching）
Imperfactions的博客
07-29 1016
【论文学习笔记-14】立体匹配：MGM（More global matching）和R3SGM（Real-time Raster-Respecting global matching） MGM提出了MGM来改进SGM，提高结果的精确度，能够消除SGM算法中存在的Streaking Effect问题。 R3SGM改进了SGM，更改了动态规划过程，使matching过程更加硬件亲和，提高速度，同时略微下降了准确率。
【论文学习笔记-7】Bi3D:Stereo Depth Estimation via Binary Classification（CVPR2020）
Imperfactions的博客
07-29 848
Bi3D:Stereo Depth Estimation via Binary Classification（CVPR2020） 该论文提出了Bi3D，通过一系列二元分类来进行深度估计。与已经存在的方法不同，本方法不是直接检测物体是否存在于一个特定的深度D，而是将物体分类为比D近/比D远。这种方法坚固了准确率和延迟，能够在很快速度的条件下检测比一个给定的距离更近的物体，或通过任意粗量化方法进行深度估计，同时只消耗与量化等级线性的复杂度。同时Bi3D也能通过给定的量化等级获得连续的深度。
Bilateral_filtering-双边滤波应用场景
07-25
双边滤波在图像处理领域有广泛的应用场景，以下是一些常见的应用场景： 1. 图像去噪：双边滤波能够有效地去除图像中的各种类型的噪声，包括高斯噪声、椒盐噪声等。它能够平滑图像，同时保持图像的细节和边缘信息，使得去噪后的图像更加清晰和自然。 2. 图像增强：双边滤波可以用于增强图像的细节和纹理信息。通过调整滤波器参数，可以使得图像中的细节更加突出，纹理更加清晰。这对于图像增强、图像重建等任务非常有用。 3. 边缘保护：传统的线性滤波器在平滑图像时会模糊边缘，导致图像失真。而双边滤波能够通过考虑像素间的相似性来保持边缘信息，从而避免了这种问题。这使得它在边缘保护和边缘增强等任务中得到广泛应用。 4. 图像分割：双边滤波可以用于图像分割任务。通过对图像进行双边滤波处理，可以使得图像中不同区域的边界更加清晰，从而更容易进行图像分割和目标提取。 5. 视频处理：双边滤波也可以应用于视频处理任务。它可以对视频序列中的每一帧进行滤波处理，以去除噪声和平滑图像。这对于视频压缩、视频增强和视频分析等应用非常重要。 总的来说，双边滤波在图像处理中的应用非常广泛，涵盖了图像去噪、图像增强、边缘保护、图像分割、视频处理等多个领域。它能够平滑图像的同时保留细节和边缘信息，提高图像质量和处理效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值