[论文笔记] Learning Parallax Attention for Stereo Image Super-Resolution (CVPR2019)

最新推荐文章于 2023-03-21 12:34:39 发布
最新推荐文章于 2023-03-21 12:34:39 发布
阅读量3.7k 收藏 11
点赞数 8
分类专栏： 深度学习 图像生成/复原 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muyiyushan/article/details/89197083
版权
本文介绍了CVPR2019年的一篇论文，提出了一种新的立体图像超分辨率方法，核心是视差注意力(parallax attention)机制，结合Residual ASPP模块来捕获多尺度上下文信息。通过建模像素间的对应关系，解决了传统方法中的匹配问题，并利用多任务学习、左右一致性与循环一致性约束优化。实验表明这些方法能显著提高重建效果。
摘要由CSDN通过智能技术生成

1. 简介

本文出自国防科大，提出了一个立体图像超分辨率重建的方法，主要创新点是基于视差的注意力机制 parallax attention，来建模立体图像的对应关系。另外，采用Residual ASPP 提取丰富的上下文特征，这种大感受野和多尺度的特征学习可以提取更有辨别力的特征。


首先分别提取两图像特征，然后PAM计算相似性和对齐，最后聚合特征，生成SR
首先分别提取两图像特征，然后PAM计算相似性和对齐，最后聚合特征，生成SR。

2. 方法

2.2 Residual ASPP

增大感受野，学习多尺度特征，丰富了卷积多样性。

2.1 视差注意力 parallax attention

与传统的self-attention注意力不同，parallax attention主要建模A图像的像素 x x x 与互补图像B上对应的对极线 I I I （立体图像中，对极线即为同一行的像素）上所有像素 x 1 x^1 x

最低0.47元/天 解锁文章
Deephome
关注
专栏目录
Symmetric Parallax Attention for Stereo Image Super-Resolution
qq_20777119的博客
03-22 825
Symmetric Parallax Attention for Stereo Image Super-Resolution 文章：https://arxiv.org/pdf/2011.03802.pdf 代码：https://github.com/YingqianWang/iPASSR 1、introduction，related work 立体图像现存的几个挑战： 1、视差的不固定。2、图像的视图内和跨视野间的信息都很重要。3、在一个视图中存在的区域有可能在另一个视野中被遮挡，在非遮挡的区域使
(CVPR2019) PASSRnet立体图像SR Learning Parallax Attention for Stereo Image Super-Resolution
qq_20777119的博客
11-16 466
文章地址：https://openaccess.thecvf.com/content_CVPR_2019/papers/Wang_Learning_Parallax_Attention_for_Stereo_Image_Super-Resolution_CVPR_2019_paper.pdf 项目地址：https://github.com/LongguangWang/PASSRnet 1. Introduction 双目相机越来越受到移动设备的欢迎。但是双目相机图像之间的额视觉差导致难以对其进行SR。
Learning Parallax Attention for Stereo Image Super-Resolution
zxyjune的博客
04-10 1746
原论文地址：https://arxiv.org/pdf/1903.05784.pdf 1、超分辨率（SR）旨在从其低分辨率（LR）对应物重建高分辨率（HR）图像。 2、我们的主要贡献可归纳如下： 1）我们通过结合立体声对应提出SR的PASSRnet; 2）我们引入了一种通用的视差注意机制，它具有沿着极线的全局接收场，以处理具有大的视差变化的不同立体图像。结果表明，视差注意机制可以有效地产生...
PASSRnet论文阅读：Learning Parallax Attention for Stereo Image Super-Resolution
GracePro的博客
09-11 4049
立体图像对可以用来提高超分辨率(SR)的性能，因为额外的信息提供了第二种观点。然而，由于立体图像之间的差异非常大，因此将这些信息纳入SR非常具有挑战性。在本文中,我们提出一个parallax-attention立体声超限分辨网络(PASSRnet)将信息从老特别的立体图像对,我们引入parallax-attention机制全球接受域沿纵向线来处理不同的立体影像与大差距的变化。我们还提出了一个新的和...
《Learning Parallax Attention for Stereo Image Super-Resolution》阅读笔记
weixin_45710187的博客
02-13 1524
Learning Parallax Attention for Stereo Image Super-Resolution 论文 补充材料 源代码 一. 整体网络框架PASSRnet 1.模型PASSRnet容易理解，主要包含两个模块：ASPP module + PAM。详细结构如下图所示。 2.模型的输入为一对LR图像（分为左视图+右视图），模型的输出为一张SR图像（对应于左视图）。 3.ASPP module 残差连接的ASPP的主要作用：增大卷积的感受野，并提取具有密集像素采样率和尺度的层次特征。
【菜鸟学习论文】Parallax Attention for Unsupervised Stereo Correspondence Learning
qq_42344132的博客
05-11 1764
（机翻） 贡献： 1.提出了一种通用的视差注意机制来学习在无监督方式下具有大视差变化的图像对的立体对应关系 2.PAM被成功地应用于两个特定的任务：立体匹配和立体图像SR。我们基于PAM的网络在立体匹配和立体图像SR方面都实现了最先进的性能。 3.提出了一种用于训练立体图像SR网络的Flickr数据集Flickr1024。这个数据集由1024个高质量的立体声图像对组成，并涵盖了各种场景。 2.相关工作 近几十年来，[3]、[5]、[6]、[7]、[8]、[10]等各种任务。在这里，我们关注两个特定的任务，包
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8883
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
CVPR 2019 论文大盘点-超分辨率篇
OpenCV中文网
10-22 975
今天盘点了 CVPR 2019 所有超分辨率相关论文，总计16篇，其中多篇论文已经吸引了大量关注，比如旷视的Meta-SR、能够应对模糊降质的DPSR、Adobe的纹理迁移SR、国防科大...
CVPR 2019 论文汇总（按方向进行论文划分）
热门推荐
鬼刀
05-28 3万+
cvpr2019 accepted papers title（官方分类，需科学前往） Github论文汇总链接（欢迎star) 论文PDF下载（更新中，提取码：osvy） 论文解读汇总 目录：(也欢迎大家推荐自己的CVPR2019文章，以下篇幅较大，分类如有错误欢迎留言指出和补充谢谢~） 检测38分割50分类、识别19跟踪20人脸12人体姿态估计/手...
注意力机制在超分辨率中的应用总结
程序员深度学习
11-21 2981
1. 注意机制可分为两种类型 根据它们所适用的范围:通道注(CA)和空间注意(SA)。CA和SA可以进一步分为三个过程: squeeze:通过通道（CA）或空间区域（SA）从X中提取一个或多个统计量S的过程。统计量通过池化方法提取，SA可使用1X1的卷积。 excitation:利用提取的统计数据，进行激励过程捕获通道(CA)或空间区域(SA)之间的相互关系，生成一个大小为1×1×C (CA)或H×W×1 (SA)。在所有的方法中，CA都使用两个全连接(FC)层，其瓶颈结构约简率为r。对于SA，使用一个.
Cross-Scale-Non-Local-Attention:我们的论文“具有跨尺度非局部注意和穷举的自样本挖掘的图像超分辨率”的PyTorch代码（CVPR2020）
03-21
跨尺度非局部注意和穷举自样本挖掘的图像超分辨率 该存储库适用于以下论文中介绍的CSNLN ，，，，，和，“影像超分辨率与跨尺度非本地关注和详尽的自我模范矿业”，CVPR2020， 该代码基于构建，并在带有Titan / Xp，V100 GPU的Ubuntu 18.04环境（Python3.6，PyTorch_1.1.0）上进行了测试。 内容 介绍 基于深度卷积的单图像超分辨率（SISR）网络具有从大规模外部图像资源中进行局部恢复学习的好处，但大多数现有工作都忽略了自然图像中的远程特征相似性。最近的一些工作通过探索非本地关注模块成功地利用了这种内在特征相关性。但是，当前的任何深层模型都没有研究图像的另一种固有特性：跨尺度特征相关性。在本文中，我们提出了第一个跨尺度非本地（CS-NL）注意模块，该模块集成到递归神经网络中。通过在功能强大的循环融合单元中将新的CS-NL先验与局部和尺度内非局部
基于深度学习使用Attention机制的图像超分辨率模型
qq_41815416的博客
04-21 1665
使用Attention机制的图像超分辨率模型 本篇博客主要记录下使用基本的Attention机制在经典的深度学习超分辨率模型中的应用 模型选择;SRCNN，EDSR Attention机制选择：SENet，SAM SRCNN论文：https://arxiv.org/abs/1501.00092 EDSR论文：https://arxiv.org/abs/1707.02921 SAM论文：https://arxiv.org/abs/1807.06521 SENet论文：https://arxiv.org/abs
Attention模型超超超超超超级攻略
Real_Brilliant的博客
01-04 531
前言 虽然国内外已经有很多Attention相关的博文了，但是哪怕点击量上万，也鲜有完全讲明白Attention各方面内容的文章，反而大都千篇一律地局限在比较浅显的原理上 Seq2Seq的编码向量是怎么计算的？ Seq2Seq的编码向量是怎么使用的？ Attention就是对对联，汤姆对Tom，杰瑞对Jerry？ Attention参数是怎么计算的？ Attention是怎么实现的？ 很多...
论文阅读《Parallax Attention for Unsupervised Stereo Correspondence Learning》
薛定谔的猫头咕咕咕
03-21 445
不同数据集的视图之间的基线、焦距与分辨率不同，基于Cost Volume固定预设视差范围的立体匹配方法无法很好处理大视差预测问题。为此，作者提出一个基于视差注意力机制的立体匹配方法来捕捉大视差范围的匹配点的信息，通过将极线约束与注意力机制结合，计算沿着极线方向的特征相似度来获取匹配点之间的匹配关系。
CVPR 2021 双目图像压缩最新进展
jacke121的专栏
05-02 2438
CVPR 2021 图像压缩最新进展 首先分享的主题为：图像处理 （实际内容为图像压缩） 两位讲者分别是来自北航的邓欣和鹏城实验室的柏园超。 论文一 论文名称：Deep Homography for Efficient Stereo Image Compression 论文链接：http://buaamc2.net/pdf/cvpr21hesic.pdf 项目链接：https://github.com/ywz978020607/HESI...
PASSRnet 论文笔记
黄笳倞的博客
04-29 3495
Learning Parallax Attention for Stereo Image Super-Resolution 目录 一、关注点 二、贡献 三、表现 四、常用SR方法在解决立体图像SR的不足和局限性 五、PASSRnet具体流程 六、PASSRnet体系结构图 七、残差空洞空间金字塔池化（ASPP） 八、视差注意模块(PAM) 九、左右一致性和周期一...
【CVPR19 超分辨率】（Oral）Second-order Attention Network for Single Image Super-Resolution
Luissen的博客
05-13 1万+
今天介绍一篇CPVR19的Oral文章，用二阶注意力网络来进行单图像超分辨率。作者来自清华深研院，鹏城实验室，香港理工大学以及阿里巴巴达摩院。 文章地址 github code 文章的出发点：现存的基于CNN的模型仍然面临一些限制： 大多数基于CNN的SR方法没有充分利用原始LR图像的信息，导致相当低的性能 大多数CNN-based models主要专注于设计更深或是更宽的网络，以学习更有判别力...
CVPR2019| CVPR论文接收列表！
中科院AI算法工程师的博客
03-19 1万+
欢迎关注微信公众号【计算机视觉联盟】获取更多前沿AI、CV资讯 统计CVPR2019论文（附链接、和代码），更新于8月11日（arXiv最新日期），持续更新中！ 1294篇的CVPR2019论文PDF下载： 关注公众号【计算机视觉联盟】回复关键词【CVPR2019】即可获取下载链接！ 【1】Learning Regularity in Skeleton Trajectories ...
warping residual based image stitching for large parallax
最新发布
05-01
图像拼接技术是将多张图像拼接在一起，形成一个较大的全景图像，以便于观察和应用的技术。在图像拼接中，存在大视差问题，即不同位置的图像存在很大的位移、旋转和缩放，需要通过合适的方法解决。现在，利用Warping Residual based Image Stitching for Large Parallax(基于Warping Residual的大视差图像拼接) 技术，可以有效地解决这个问题。 Warping Residual based Image Stitching for Large Parallax技术主要通过对图像进行区域分割，并选择合适的重叠区域进行投影变换，使得图像位置、缩放及旋转等参数产生变化，并利用残差映射来消除部分图像间的色差和亮度差异。该技术具有高精度、细节保持能力强、不易出现拼接偏差以及对图像叠加光照变化适应性强等优点，使得大视差图像拼接更为准确和可靠。 Warping Residual based Image Stitching for Large Parallax技术在智能家居、虚拟现实、无人驾驶等领域有着广泛的应用。在智能家居领域，用户可以通过连接摄像头，将多个房间的图像进行拼接，以便于用户观察各个房间的情况。在虚拟现实领域，该技术可以将多个图像拼接成一个全景视频，使用户有一种身临其境的感觉。在无人驾驶领域，该技术可以将多个摄像头的图像拼接在一起，实时观察车辆周围的情况，提高汽车行驶的安全性。 综上所述，Warping Residual based Image Stitching for Large Parallax技术有着极为广泛的应用前景和可观的经济效益。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值