Symmetric Parallax Attention for Stereo Image Super-Resolution

最新推荐文章于 2023-03-09 00:19:37 发布
最新推荐文章于 2023-03-09 00:19:37 发布
阅读量803 收藏 2
点赞数
分类专栏： Stereo SR立体图像超分辨率
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20777119/article/details/115065378
版权
本文提出了一种对称视差注意力模块（biPAM），用于立体图像超分辨率，解决视差不固定和遮挡问题。网络通过特征提取、交叉视图交互和重建提高图像质量。实验表明，biPAM有效地利用了跨视野信息，特别是在遮挡区域，且优于其他方法。此外，研究发现高质量训练样本对于提升性能至关重要。
摘要由CSDN通过智能技术生成

Symmetric Parallax Attention for Stereo Image Super-Resolution

文章：https://arxiv.org/pdf/2011.03802.pdf

代码：https://github.com/YingqianWang/iPASSR

1、introduction，related work

立体图像现存的几个挑战：

1、视差的不固定。2、图像的视图内和跨视野间的信息都很重要。3、在一个视图中存在的区域有可能在另一个视野中被遮挡，在非遮挡的区域使用跨视野信息，在遮挡区域依然保持良好的效果。

本文与之前PASSRnet的区别：

1、设计的网络可以同时处理左右视图的图像。2、设计了双向视差注意力模块（biPAM），相比于PAM更加紧凑并且高效处理遮挡区域。3、实验表明效果更好

3、method

A. Network Architecture

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
芝麻开花666
关注
专栏目录
订阅专栏
(CVPR2019) PASSRnet立体图像SR Learning Parallax Attention for Stereo Image Super-Resolution
qq_20777119的博客
11-16 449
文章地址：https://openaccess.thecvf.com/content_CVPR_2019/papers/Wang_Learning_Parallax_Attention_for_Stereo_Image_Super-Resolution_CVPR_2019_paper.pdf 项目地址：https://github.com/LongguangWang/PASSRnet 1. Introduction 双目相机越来越受到移动设备的欢迎。但是双目相机图像之间的额视觉差导致难以对其进行SR。
Learning Parallax Attention for Stereo Image Super-Resolution
zxyjune的博客
04-10 1723
原论文地址：https://arxiv.org/pdf/1903.05784.pdf 1、超分辨率（SR）旨在从其低分辨率（LR）对应物重建高分辨率（HR）图像。 2、我们的主要贡献可归纳如下： 1）我们通过结合立体声对应提出SR的PASSRnet; 2）我们引入了一种通用的视差注意机制，它具有沿着极线的全局接收场，以处理具有大的视差变化的不同立体图像。结果表明，视差注意机制可以有效地产生...
《Learning Parallax Attention for Stereo Image Super-Resolution》阅读笔记
weixin_45710187的博客
02-13 1510
Learning Parallax Attention for Stereo Image Super-Resolution 论文 补充材料 源代码 一. 整体网络框架PASSRnet 1.模型PASSRnet容易理解，主要包含两个模块：ASPP module + PAM。详细结构如下图所示。 2.模型的输入为一对LR图像（分为左视图+右视图），模型的输出为一张SR图像（对应于左视图）。 3.ASPP module 残差连接的ASPP的主要作用：增大卷积的感受野，并提取具有密集像素采样率和尺度的层次特征。
PASSRnet论文阅读：Learning Parallax Attention for Stereo Image Super-Resolution
GracePro的博客
09-11 4009
立体图像对可以用来提高超分辨率(SR)的性能，因为额外的信息提供了第二种观点。然而，由于立体图像之间的差异非常大，因此将这些信息纳入SR非常具有挑战性。在本文中,我们提出一个parallax-attention立体声超限分辨网络(PASSRnet)将信息从老特别的立体图像对,我们引入parallax-attention机制全球接受域沿纵向线来处理不同的立体影像与大差距的变化。我们还提出了一个新的和...
[论文笔记] Learning Parallax Attention for Stereo Image Super-Resolution (CVPR2019)
Deephome的博客
04-11 3717
1. 简介 本文出自国防科大，提出了一个立体图像超分辨率重建的方法，主要创新点是基于视差的注意力机制 parallax attention，来建模立体图像的对应关系。另外，采用Residual ASPP 提取丰富的上下文特征，这种大感受野和多尺度的特征学习可以提取更有辨别力的特征。 首先分别提取两图像特征，然后PAM计算相似性和对齐，最后聚合特征，生成SR。 2. 方法 2.1 视差注意力 pa...
EDSR:Enhanced Deep Residual Networks for Single Image Super-Resolution
清风吹斜阳
03-10 1305
Enhanced Deep Residual Networks for Single Image Super-Resolution Bee Lim,Sanghyun Son,Heewon Kim,Seungjun Nah,Kyoung Mu Lee Department of ECE, ASRI, Seoul National University, 08826, Seoul, Korea 前...
（Effective Image Super Resolution via Hierarchical ConvolutionalNeural Network）论文阅读笔记
qq_40107571的博客
06-26 273
论文地址：https://www.sciencedirect.com/science/article/abs/pii/S0925231219312974摘要：目前基于神经网络的SR方法主要还是通过增加深度和宽度来提升模型的性能。这篇论文提出了分层卷积网络。网络的思想是通过学习来自不同层级的特征更加有效的超分。提出的网络，包含三个处理步骤，分别为边缘提取分支，边缘增强分支，图像重建分支。在边缘提取和边缘增强分支可以提取丰富的边缘信息，这些边缘信息被用来进行重建。在几个公开数据集上实验表明，作者提出的模型可以保
Survey on Single-Image-Super-Resolution
zhangjf26的博客
08-23 3028
Single-Image-Super-Resolution A list of resources for example-based single image super-resolution, inspired by Awesome-deep-vision and Awesome Computer Vision . Example-based methods Early learning...
图像超分辨EDSR：Enhanced Deep Residual Networks for Single Image Super-Resolution，论文笔记
热门推荐
Cyiano的博客
11-02 1万+
图像超分辨EDSR：Enhanced Deep Residual Networks for Single Image Super-Resolution，论文笔记简介 作者提出的模型主要是提高了图像超分辨的效果，并赢得了NTIRE2017 Super-Resolution Challenge。 做出的修改主要是在残差网络上。残差结构的提出是为了解决high-level问题，而不能直接套用到超分辨这种l
matlabpam代码-iPASSR:[CVPRW2021]用于立体图像超分辨率的对称视差注意
05-23
matlab pam代码iPASSR PyTorch实施“立体图像超分辨率的对称视差注意”，在CVPR 2021的NTIRE研讨会上。 强调： 1.我们开发了配备双向PAM的暹罗网络，可以对左图像和右图像进行超分辨。 2.我们提出了一种在线遮挡处理方案，以从视差注意图推导遮挡。 3.我们设计了几个照度稳健的损耗，以增强立体声的一致性。 [] 4.我们的iPASSR具有相当的模型尺寸，大大优于PASSRnet。 下载结果 我们分享iPASSR在2xSR和4xSR的所有测试集上获得的定量和定性结果。 然后，研究人员可以在不进行推理的情况下将他们的算法与我们的方法进行比较。 结果可在和处找到（键：NUDT）。 要求 PyTorch 1.3.0，torchvision 0.4.1。 该代码使用python = 3.7，cuda = 9.0进行了测试。 Matlab（用于培训/测试数据生成和性能评估） 火车 从（Key： ./data/train/ ）下载训练集并将其解压缩到./data/train/ 。 运行./data/train/GenerateTrainingPatches.m生成训练补
TMM2021 Cross Parallax Attention Network for Stereo Image Super-Resolution
qq_20777119的博客
03-23 714
Cross Parallax Attention Network for Stereo Image Super-Resolution 文章：https://ieeexplore.ieee.org/abstract/document/9318556 代码：https://github.com/canqChen/CPASSRnet 1、abstract，introduction 现有的方法无法处理立体图像中视差较大和不同种类的极线情况。有的立体图像的极线不是水平的。 本文通过一个模型来处理不同尺度和视角
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention论文笔记
bxg1065283526的博客
03-17 757
Abstract 视觉问答(VQA)的关键解决方案在于如何融合从输入图像和问题中提取的视觉和语言特征。我们表明，一种能够在两种模式之间实现密集双向交互的注意机制有助于提高答案预测的准确性。具体来说，我们提出了一个在视觉和语言表达之间完全对称的简单体系结构，其中每个问题词出现在图像区域，每个图像区域出现在问题词上。它可以被堆叠以形成图像-问题对之间的多步骤交互的层次。我们通过实验表明，所提出的架构...
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention阅读笔记
untitled_的博客
06-12 433
本文提出了一个简单的架构，在视觉和语言表示之间完全对称，其中每个问题词关注图像区域，而每个图像区域关注问题词。它可以被堆叠成一个层次结构，用于在一对图像-问题之间进行多步骤交互。 ...
《Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for VQA》读后感想
hema12138的博客
04-09 521
该文采用co-attention,且和attention is all you need 类似采用多层尺度点乘注意函数。该文给我带来的思考主要于注意力的使用，首先它采用的co-attention,第二它采用拉伸的特征向量表示句子或图像
Attention模型超超超超超超级攻略
Real_Brilliant的博客
01-04 515
前言 虽然国内外已经有很多Attention相关的博文了，但是哪怕点击量上万，也鲜有完全讲明白Attention各方面内容的文章，反而大都千篇一律地局限在比较浅显的原理上 Seq2Seq的编码向量是怎么计算的？ Seq2Seq的编码向量是怎么使用的？ Attention就是对对联，汤姆对Tom，杰瑞对Jerry？ Attention参数是怎么计算的？ Attention是怎么实现的？ 很多...
NTIRE 2022 Challenge on Stereo Image Super-Resolution比赛报告解读
weixin_43800577的博客
03-09 1843
NTIRE 的全称为New Trends in Image Restoration and Enhancement Challenges，即“图像复原和复原挑战中的新趋势”，是CVPR(IEEE Conference on Computer Vision and Pattern Recognition)举办的极具影响力的计算机视觉底层任务比赛，主要涉及的研究方向有：图像超分辨率、图像去噪、去模糊、去摩尔纹、重建和去雾等。
CVPR2020 Disparity-Aware Domain Adaptation in Stereo Image Restoration
qq_20777119的博客
11-16 556
1、Introduction 提高立体图像视觉的工作很少，而且SISR的方法忽视了不同视角之间的信息。有时候，一些细节信息会在一个视角中存在，而在另外一个视角中不存在。视频和立体图像之间的差异分别由运动和视差所引起，这就导致了视频中的关联和立体图像不同，所以不能用VSR的方法来进行stereo SR任务。而RefSR则需要获取到相应的高分辨率的参考图像，这在实际中往往难以满足。 对于stereo SR任务来说，当重建其中一个视角的时候，视差作为先验信息来帮助重建。 本文的贡献： 提出了一个统一的立体
cvpr2020 | 图像增强与恢复论文盘点
u014546828的博客
07-29 5062
cvpr2020 | 图像增强与恢复论文盘点 [转自] https://www.cnblogs.com/yijun009/p/13223175.html 有论文题目、代码和摘要，参考https://blog.csdn.net/moxibingdao/article/details/107054319，机翻，介意勿看。 图像与视频增强（Image&Video Enhancement） 零参考深度曲线估计用于低照度图像增强 [1].Zero-Reference Deep Curve E.
highly-scalable searchable symmetric encryption with support for boolean que
最新发布
10-30
高度可扩展的可搜索对称加密是一种安全的加密算法，具备对数据进行搜索操作的能力，并支持布尔查询。 可扩展性是指该算法在处理大规模数据时不会受到性能限制。它可以对大量数据进行高效加密和解密，而不会影响系统的响应时间和吞吐量。 对称加密是指使用相同的密钥进行加密和解密的加密方式。使用对称加密算法，用户可以使用相同的密钥对数据进行加密和解密操作，从而确保数据的机密性和完整性。对称加密算法通常具有较高的加密和解密速度，适用于需要高效加密大量数据的场景。 可搜索性是指加密后的数据仍然可以通过一定的方式进行搜索和查询。在传统的加密算法中，加密后的数据无法进行搜索操作，只能对整个数据集进行解密后再进行搜索。但高度可扩展的可搜索对称加密算法则允许用户对加密的数据进行搜索操作，而无需解密整个数据集。这种算法通过引入附加的索引数据结构，可以将搜索和加密操作有效地结合在一起，从而实现对加密数据的搜索。 布尔查询是指支持逻辑运算符（如AND、OR、NOT）进行搜索的能力。高度可扩展的可搜索对称加密算法不仅可以进行简单的精确匹配搜索，还可以进行复杂的布尔查询。用户可以使用逻辑运算符将多个搜索条件进行组合，从而实现更精准和灵活的搜索操作。 因此，高度可扩展的可搜索对称加密算法具备较高的可扩展性、对称加密和可搜索性，并支持布尔查询。它可以在保证数据安全的前提下，提供高效的数据搜索和查询功能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

芝麻开花666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值