Multi-scale Attention Network for Single Image Super-Resolution（CVPR 2024）

已于 2024-08-25 18:46:39 修改
阅读量339 收藏 4
点赞数 7
文章标签： 人工智能
于 2024-08-25 18:45:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51732791/article/details/141532613
版权

一、解决的问题

第一：卷积神经网络（ConvNets）在图像超分辨率（SR）任务中的表现不如基于Transformer的模型。具体如下，尽管ConvNets在高层次任务中可以与Transformer竞争，但在低层次的图像超分辨率任务中，其性能通常不如Transformer；现有的ConvNet架构（如VAN）虽然引入了大核注意力（LKA）以扩大感受野，但仍存在一些问题，如膨胀卷积可能导致阻塞伪影，且固定大小的LKA无法充分利用不同范围的像素信息。

第二：图像超分辨率任务的本质难题。低分辨率（LR）图像对应无数可能的高分辨率（HR）图像，导致难以找到LR和HR像素之间的正确相关性。

二、提出的办法

针对ConvNets在图像超分辨率任务中表现不如Transformer的问题，提出了多尺度大核注意力（MLKA）和门控空间注意力单元（GSAU）两种方法。通过结合多尺度、门控机制和空间注意力，这些方法显著增强了ConvNets的模型表示能力，并成功应用于构建多尺度注意力网络（MAN），从而在图像超分辨率任务中实现了与Transformer相媲美的性能。

第三：实验细节

第一：消融实验

①MAN组分的消融②多尺度和分解类型(LKA/MLKA)消融实验研究③不同FFN的消融实验

第二：对比实验 

①Comparisons with classical image SR②Comparisons with tiny/light image SR③Comparisons with sota transformers

视界解码者
关注
  • 7
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于多尺度注意力网络单图像超分（MAN）
qq_40107571的博客
10-27 1973
基于多尺度注意力网络单图像超分（MAN）
CVPR2023中super-resolution相关的文章
qq_20777119的博客
05-08 841
1 Activating More Pixels in Image Super-Resolution Transformer pytorch 混合注意力transformer，刷PSNR 2 N-Gram in Swin Transformers for Efficient Lightweight Image Super-Resolution pytorch transformer，轻量化 3 Omni Aggregation Networks for Li
多尺度注意力机制突破性成果！低成本、高性能兼备
学姐带你玩AI的博客
05-23 1572
与传统的注意力机制相比，引入了多个尺度的注意力权重，让模型能够更好地理解和处理复杂数据。这种机制通过在不同尺度上捕捉输入数据的特征，让模型同时关注局部细节和全局结构，以提高对细节和上下文信息的理解，达到的效果。比如发表于TMM2023的MSDA模块，同时考虑了浅层自注意机制的局部性和稀疏性，可以有效地聚合语义多尺度信息，仅用70%更少的FLOPs就媲美现有SOTA。为方便各位理解和运用，今天分享，原文和开源代码都有。论文可参考创新点做了简单提炼，具体工作细节可阅读原文。
【ARIXV2209】Multi-Scale Attention Network for Single Image Super-Resolution
中国海洋大学AI前沿理论组
01-24 1263
代码：https://github.com/icandle/MAN这是来自南开大学的工作，将多尺度机制与大核注意机制结合，用于图像超分辨率。2022年初，大核卷积火了，Visual Attention Network （VAN）提出将大核卷积划为：depth-wise conv，dilated conv，和 point-wise conv 的组合（如下图所示）。作者提出的方法叫做 Multi-scale Attention Network（MAN），总体框架如下图所示。
【图像超分辨率】Single image super-resolution using multi-scale feature enhancement attention residual net
qq_41807261的博客
03-16 752
本文实现了浅层CNN和深层CNN的集合，并提出了多尺度特征提取和关注块（MSFEAAB），以更好地同时从LR图像中提取低频和高频信息。为了抑制由于解卷积层导致的棋盘问题，采用像素解卷积来对特征图进行升标。 提出了一个多尺度特征提取和注意力块（MSFEAAB），包括三个主要步骤。(一)特征提取，(二)向上缩放，(三)图像重建。在特征提取步骤中，采用多尺度特征提取后的注意力模块，以更高效地学习卷积滤波器。 在特征提取模块中，关键问题之一是用于卷积核的接受场的大小。小尺寸的核对提取低频成分有帮助，而，大尺寸的核
【图像超分辨率】Multi-scale Residual Network for Image Super-Resolution
qq_41807261的博客
03-20 1976
Multi-scale Residual Network for Image Super-Resolution摘要1 介绍本文对应的解决方案本文的贡献2 相关工作2.1 单图像的超分辨率（Single-image Super-resolution）2.2 特征提取块（Feature Extraction Block）3 提出的方法3.1 多尺度残差块（MSRB）多尺度特征融合（Multi-scale Features Fusion）局部残差学习（Local Residual Learning）3.2 层次特
CVPR 2024 即插即用！ CA：新注意力机制(1)，了解Linux运维架构组件后构建APP超简单
2401_84164546的博客
04-09 1349
最全的Linux教程，Linux从入门到精通。
Pyramid With Super Resolution for In-The-Wild Facial Expression Recognition
qq_45786703的博客
02-20 1520
论文翻译摘要一、介绍新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 摘要 人脸表情识别是提高自然人机交互的一项具有挑战性的任务。本文主要研究的是一张在野外(ITW)图像上的自动表情识别。ITW图像在姿态、方向和输入分辨率方
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8734
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
2024最全注意力机制模型全家桶！永久更新！
最新发布
m0_61878377的博客
06-06 874
关于注意力机制（Attention）的研究与应用越来越多，这并不是空穴来风。可以说，注意力机制就像人的大脑皮层，让我们的模型更加智能化。 但是，这么多模型到底该怎么选择？今天小当家推出最全注意力机制全家桶，共10种结合注意力机制的模型，每种模型可以进行回归预测、时间序列预测，并且已经在真实数据上得到验证，代码注释也是十分清楚，适合新手！！！
学习笔记1——常用的注意力机制（即插即用）
daige123的博客
07-12 1万+
常用的即插即用的注意力机制原理及代码
MSRN：Multi-scale Residual Network for Image Super-Resolution 论文翻译
ytao_wang的博客
05-18 7255
Multi-scale Residual Network for Image Super-Resolution 用于图像高分辨率的多尺度残差网络 原文：Multi-scale Residual Network for Image Super-Resolution, ECCV2018 github(pytorch): https://github.com/MIVRC/MSRN-PyTorch 摘要：近年来的研究表明，深度神经网络可以显著提高单幅图像的超分辨率。目前的研究倾向于使用更深层次的卷积神经网络来提高
《Multi-scale Residual Network for Image Super-Resolution》阅读
qq_29350991的博客
06-12 1317
近年来的研究表明，深度神经网络可以显著提高单幅图像的超分辨率。目前的研究倾向于使用更深层次的卷积神经网络来提高性能。然而，盲目地增加网络的深度并不能有效地改善网络。更糟糕的是，随着网络深度的增加，训练过程中出现的问题越来越多，需要更多的训练技巧。在本文中，我们提出了一种新的多尺度残差网络(MSRN)来充分利用图像的特征，其性能优于大多数现有的方法。在残差块的基础上，引入不同大小的卷积核，自适应地检测不同尺度的图像特征。同时，我们让这些特征相互作用，得到最有效的图像信息，我们称之为结构多尺度残差块(MSRB)
Multi-scale Residual Network for Image Super-Resolution
KevinZ5111的博客
03-08 1586
论文原址：MSRN 0 Abstract 之前的研究显示深度神经网络能极大提升单幅图像超分辨率的质量。为了获得更好的重建效果，当前的研究趋势是使用更深的卷积神经网络。但是盲目增加网络层数并不能有效改进重建效果，更糟糕的是随着网络层数的增加在训练过程中会出现更多问题而且需要更多的训练技巧。在本文中，作者提出了一种新颖的模型叫做multiscale residual network (MSRN)，该模...
深度探索：机器学习中的加性注意力（Additive Attention）原理及应用
qq_51320133的博客
04-30 2429
加性注意力机制凭借其灵活的注意力分配能力，在自然语言处理、计算机视觉等多个领域展现了强大的应用潜力。它不仅能够有效提升模型对序列数据的理解能力，还能增强模型的可解释性，使得我们能够洞察模型决策背后的逻辑。 然而，面对日益复杂的数据处理需求和计算资源的限制，如何进一步优化加性注意力机制，减少计算负担，提升训练效率，成为研究的重点。未来的研究方向可能包括：
CVPR 2024 即插即用！ CA：新注意力机制，2024年最新Linux运维彻底组件化方案实践方法
2401_84164546的博客
04-09 2222
为了做好运维面试路上的助攻手，特整理了上百道。
交叉注意力融合2024创新方案汇总，附配套模块和代码
学姐带你玩AI的博客
01-31 7539
多模态学习和注意力机制是当前深度学习研究的热点领域之一，而交叉注意力融合作为这两个领域的结合点，具有很大的发展空间和创新机会。作为多模态融合的一个重要组成部分，交叉注意力融合通过注意力机制在不同模块之间建立联系，促进信息的交流和整合，从而提升了模型处理复杂任务的能力，展现出其在多模态学习和聚类分析等领域的强大优势。本文盘点，包含2024年最新的研究，这些模块的来源文章以及代码我都整理了，希望能给各位的论文添砖加瓦。论文和模块代码需要的同学看文末。
multi-label attention (MLA)
07-28
引用\[1\]中提到了两种动态排序ground truth标签的方法，即predicted label alignment (PLA)和minimal loss alignment (MLA)。这些方法可以用于多标签分类任务中，其中RNNs在处理可变长度的序列数据时表现出良好的性能。然而，由于RNNs产生的输出是顺序的，所以需要对多标签进行排序。引用\[2\]中提到了多标签分类任务的挑战在于标签之间的不确定关系，而RNNs可以自然地处理标签之间的关系模式。为了训练模型，需要使用包含图像和标签集的数据集。其中，一个数据对包含一张图像和n个标签，标签集包括开始和结束标记。\[3\] #### 引用[.reference_title] - *1* *2* *3* [Orderless Recurrent Models for Multi-label Classification (CVPR2020)](https://blog.csdn.net/language_zcx/article/details/105948063)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值