论文笔记 | 【CVPR-2023】Activating More Pixels in Image Super-Resolution Transformer

最新推荐文章于 2024-03-06 13:20:46 发布
最新推荐文章于 2024-03-06 13:20:46 发布
阅读量2.7k 收藏 26
点赞数 7
分类专栏： Low-level 文章标签： 深度学习 论文阅读 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CrispyFeSO_4/article/details/130185845
版权

论文笔记 | 【CVPR-2023】Activating More Pixels in Image Super-Resolution Transformer

抛砖引玉了，如有不同意见欢迎讨论。

目录

在这里插入图片描述
在超分Transformer中激活更多像素。
澳门大学、中科大、上海人工智能实验室的，董超老师的团队。
CVPR2023。

1 Motivation

LAM：一种为SR任务设计的归因方法，能显示模型在进行超分辨率重建的过程中哪些像素起到了作用。一般来说，被利用像素的范围越大，重建的效果往往越好。
在这里插入图片描述
被利用像素的范围：定性看红色区域的范围；定量看DI（diffusion index），越大越好。
这个结论在EDSR和RCAN很显著，但是在SwinIR和RCAN相比就不成立。

  • 问题：SwinIR的性能更好，但是使用的像素范围更小。
    本文认为：SwinIR结构拥有更强的局部表征能力，能够使用更少的信息来达到更高的性能。

  • 问题：SwinIR虽然性能好，但是恢复出的图像纹理是错的。
    本文认为：是因为SwinIR的信息使用范围有限，窗口自注意力机制限制了信息的使用范围。SwinIR依然有较大提升空间，如果更多的像素能够被利用，那么应该会取得更大的性能提升。

  • 另外，文章发现，SwinIR网络前几层产生的中间特征会出现明显的块状效应。
    文章认为，这是由于模型在计算自注意力时的窗口划分导致的，因此认为现有结构进行跨窗口信息交互的方式也应该被改进。
    在这里插入图片描述

2 Contribution

  • 1）设计了一种HAT（混合注意力transformer），结合自注意力、通道注意力和设计的重叠交叉注意力，激活更多的像素以更好地重建。
  • 2）同任务预训练策略，进一步挖掘SR-Transformer的潜力。表明了大规模数据集预训练对任务的重要性。
  • 3）SOTA。

3 Method

3.1 Overview

在这里插入图片描述

3.2 HAB (Hybrid Attention Block)

在这里插入图片描述
和SwinT Block一样，串联了CAB模块。

通道注意力： 利用全局信息；自注意力：强大表征能力。HAB同时结合两者优势。
SwinT模块的输入输出是同维度，CAB模块也是，所以可以直接实现三个矩阵相同位置元素叠加。
（SwinT：）
在这里插入图片描述

3.2.1 Channel Attention

本质：对特征的各个通道的重要性进行学习，分配不同的权重。
代表模型：Squeeze-and-Excitation Networks (SENet）

在这里插入图片描述
在这里插入图片描述
对于H×W×C的input元素特征图：
压缩：全局平均池化，压缩通道 [H, W] -> [1, 1]
激励：全连接层1 -> Relu -> 全连接层2 -> sigmoid （学习各个通道权重的重要性，激活函数）
维度变换：[H×W×C] ->[1×1×C]->[1×1×n1]->[1×1×C]

3.2.2 CAB

在这里插入图片描述
在这里插入图片描述
经过卷积，gelu，卷积。这部分，不知道要做什么。但是压缩通道是为了节省参数。

后面是CA模块。平均池化是压缩特征尺度，区别于上面的全连接层，这里使用1*1卷积来学习通道权重。

3.2.3 OCAB (Overlapping Cross-Attention Block)

在这里插入图片描述
也是仿照Swin-T模块，替换自注意力机制变成自己设计的OCA模块，Overlapping Cross-Attention，重叠交叉注意力。

在这里插入图片描述
普通注意力：
QKV是由同一个X矩阵（HWC），分别乘上不同的CC矩阵，变成XQ，XK，XV，然后按照窗口划分QKV，在窗口内使用公式计算。
OCA：
在这里插入图片描述
同样一个XQ矩阵，划分成MM大小的窗口，窗口内计算Q。
XK和XV的窗口划分要更大。先在周围做一圈零填充，宽度是γM/2。
然后划分成M0M0，step=M的窗口，作为K和V，再与Q计算注意力。M0通过公式计算得到。
维度不一样的问题，使用广播机制扩充Q的维度。

结果：允许attention跨窗口计算，加强了相邻窗口的信息交互，减弱块效应。

3.3 The Same-task Pre-training

之前工作：
various low-level tasks / different degradation levels of a specific task
本文：
同任务、大规模数据集ImageNet预训练。
比如：×4模型。先在ImageNet进行×4的预训练，然后在特定数据集微调（使用小学习率）。
文章认为，是因为Transformer需要更多的数据和迭代学习任务的一般知识。

4 Experiment

首先做了一个实验。在SwinIR验证，自注意力的窗口越大，越有利于性能的提升。
所以选用了16的窗口大小。

在这里插入图片描述
主实验：
训练数据集：DF2K ( DIV2K + Flicker2K )
RHAG：6
HAB：6
Channel：180
Attention head number：6
Window size：16
α（HAB）：0.01
β（CAB）：3
重叠比γ：0.5

另提供2个版本的模型：
HAT-L：RHAG：12（ori：6）
HAT-S：channel：144（ori：180）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5 Ablation study

OCAB、CAB

在这里插入图片描述

Channel attention、α、γ

在这里插入图片描述

Pre-training strategy

在这里插入图片描述

七水合硫酸亚铁有点脆
关注
  • 7
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【HAT】 Activating More Pixels in Image Super-Resolution Transformer
hbw136的博客
05-10 6143
Activating More Pixels in Image Super-Resolution Transformer （在图像超分辨率transformer中激活更多的像素） 作者：Xiangyu Chen1,2 , Xintao Wang3 , Jiantao Zhou1 , and Chao Dong2,4 单位：1University of Macau 2Shenzhen Institute of Advanced Technology, Chinese Academy of..
Residual-Dense-Net-for-Super-Resolution
04-28
介绍 这是这篇cvpr18的文章的非官方keras+tensorflow实现。 结果 Set5数据集的结果 使用 打开inference.py，里面有xdir改一下，数据集去这里。 测试 想测试PSNR指标，用Matlab更准确，仍然这里。 introduction this is the unofficial implementation of this cvpr18 article with keras as well as tensorflow. result the result in Set5 dataset usage open inference.py,modify xdir='?',this is a link of test attain the metric of PSNR,researcher prefer to use Matlab.Still clone at
CVPR 2023 | 即插即用的注意力模块 HAT: 激活更多有用的像素助力low-level任务显著涨点！
专注计算机视觉全栈知识分享
06-04 3335
本文提出了一种名为 HAT 的新型超分辨率 Transformer 方法，通过结合不同类型的注意力机制和大规模数据预训练，实现了更好的图像重建效果。该方法在实验证明了其在超分辨率任务中的优越性能，并超过了当前最先进方法。这项研究拓展了Transformer在计算机视觉任务中的应用，并提供了一种改进低级视觉任务的方法。
Activating More Pixels in Image SuperResolution Transformer
最新发布
weixin_43238909的博客
03-06 1968
相比之下，我们基于相同的任务直接在更大规模的数据集上进行预训练，表明预训练的有效性更多地取决于数据的规模和多样性。因此，我们的目标是设计一种网络，在激活更多像素进行重建的同时，可以利用类似的自注意。特别是，一个新设计的网络，SwinIR，在这项任务中获得了突破性的改进。我们相信，大规模的数据对预训练来说才是真正重要的，实验结果也表明了我们策略的优越性。此外，为了在相邻的非重 叠窗口之间建立连接，我们还利用移位窗口划分方法，并将移位大小设置为窗口大小的一半。直观的说，利用的信息越多，性能就越好。
CVPR2021-Transformer-and-Low-level-Vision
04-09
带有代码的论文--- [ ] 带有代码的纸--- [ ] 变压变压器 预培训图像处理变压器，[]，[] 注意力可视化之外的变压器可解释性，[]，[] 生成对抗式变压器，[]，[] 变压器中的变压器，[]，[] 带有变压器的端到端视频实例分割，[] 用变压器从序列到序列的角度重新思考语义分割，[]，[] 图像处理 AdderSR：迈向节能图像超分辨率， Efficient SR ，[]，[代码] 探索图像超分辨率中的稀疏性以进行有效推理， Efficient SR ，[论文]，[代码] ClassSR：通过数据特性， Efficient SR加速超分辨率网络的通用框架，[论文]，[代码] 用于图像超分辨率， Efficient SR数据知识蒸馏 Cross-MPI：使用多平面图像进行图像超分辨率的跨尺度立体声， Stereo SR ，[纸张]，[代码] 学习具有局部
CVPR2022 Image Dehazing Transformer with Transmission-Aware 3D代码
09-24
CVPR 2022 Image Dehazing Transformer with Transmission-Aware 3D Position Embedding 源代码，很有学习价值，大佬任文琦团队的最新去雾杰作，从3D定位的角度去思考去雾。CVPR 2022 Image Dehazing Transformer with Transmission-Aware 3D Position Embedding 源代码，很有学习价值，大佬任文琦团队的最新去雾杰作，从3D定位的角度去思考去雾。CVPR 2022 Image Dehazing Transformer with Transmission-Aware 3D Position Embedding 源代码，很有学习价值，大佬任文琦团队的最新去雾杰作，从3D定位的角度去思考去雾。
Activating More Pixels in Image Super-Resolution Transformer（HAT）超分
longshaonihaoa的博客
09-13 504
基于Transformer的方法在低级视觉任务（如图像超分辨率）上表现出令人印象深刻的性能。然而，我们发现这些网络只能通过归因分析利用有限的输入信息空间范围。这意味着Transformer的潜力在现有网络中仍未得到充分利用。为了激活更多输入像素以获得更好的重构效果，我们提出了一种新颖的混合注意力Transformer（Hybrid Attention Transformer，HAT）。它结合了通道注意力和基于窗口的自注意力方案，从而利用全局统计和强大的局部拟合能力。
【图像超分辨率重建】——HAT论文精读笔记
Sunny_Coder的博客
12-28 5143
【图像超分辨率重建】——HAT论文精读笔记
论文解读：Activating More Pixels in Image Super-Resolution Transformer(HAT:混合注意力机制)
weixin_50917576的博客
03-05 1213
本文提出了一种称为混合注意力 Transformer（HAT） 的新型网络架构， 它融合了通道注意力和窗口自注意力机制的长处， 提高了模型处理全局和局部信息的能力。 此外， 研究人员还引入了一个跨窗口的注意力模块， 用以强化邻近窗口特征间的互动。 通过在训练阶段实行同任务预训练， 进一步提升了模型性能。 经过一系列实验， 这个方法在性能上显著优于现有最先进技术， 达到了 1dB 以上的提高。
CVPR 2023 接收结果出炉！再创历史新高！录用2360篇！（附10篇最新论文）
热门推荐
阿木寺的博客
02-28 2万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群2023 年 2 月 28 日凌晨，CVPR 2023 顶会论文接收结果出炉！这次没有先放出论文 ID List，而是直接 email 通知作者（朋友圈好友纷纷晒截图，报喜讯~你被刷屏了没？！）。CVPR 2023 主委会官方发布这次论文接收数据：有效投稿 9155 篇（比 CVPR ...
TDAN-VSR-CVPR-2020:丹丹
04-30
TDAN-CVPR 2020（保持更新） 这是TDAN的官方Pytorch实施：用于视频超分辨率的临时变形对准网络。 | 用法 主要依赖项：Python 3.6和Pytorch-0.3.1（ ） $ git clone https://github.com/YapengTian/TDAN-VSR $ compile deformable convolution functions (may be optional): bash make.sh $ pip install -r requirements $ python eval.py -t test_dataset_path 引文 如果您发现该代码对您的研究或工作有所帮助，请引用我们的论文： @article { tian2018tdan , title = { Tdan: Temporally deformable ali
CVPR-2018论文合集六
07-13
CVPR-2018论文合集--SLAM DNN CNN 目标检测与目标识别 视频目标分割 图像分割 自然语言处理 自动驾驶
HAT论文详解：Activating More Pixels in Image Super-Resolution Transformer
BigerBang的博客
02-22 902
本文是对Swinir的改进，目前很多图像超分Benchmark的SOTA。相对于SwinIR的改进主要有三个地方：1. 引入Channel Attention,以获得更好的全局能力；2. 提出了overlapping cross-attention模块，来进行跨window的信息交互；3. 提出一个预训练策略。上面两张图分别是HAT和SwinIR的整体结构图，可以看出HAT延续了SwinIR的基本结构，将RSTB升级成RHAG，内部的STL也对应升级成HAB，并且在每个Block中加入了一个OCAB。
#今日论文推荐#XPixel团队提出混合注意力机制HAT：Transformer超分性能大涨1dB
w1hsxn的博客
06-09 582
该方法结合了通道注意力，自注意力以及一种新提出的重叠交叉注意力等多种注意力机制。
CVPR 2023 | 图像超分，结合扩散模型/GAN/部署优化，low-level任务，视觉AIGC系列
qq_41771998的博客
06-16 1068
基于Transformer的方法在低级别视觉任务中，如图像超分辨率，表现出了令人印象深刻的性能。Transformer的潜力在现有网络中仍未得到充分发挥。为了激活更多的输入像素以实现更好的重建，提出了一种新的混合注意力Transformer(HAT)。它同时结合了通道注意力和基于窗口的自注意力方案，从而充分利用了它们各自的优势，即能够利用全局统计和强大的局部拟合能力。此外，为了更好地聚合跨窗口信息，引入了一种重叠的交叉注意力模块，以增强相邻窗口特征之间的交互作用。
CVPR2023论文速递（2023.3.23）！已接入ChatGPT总结！共26篇！
zero的博客
03-23 1万+
整理：AI算法与图像处理CVPR2023论文和代码整理：https://github.com/DWCTOD/CVPR2023-Papers-with-Code-Demo欢迎关注公众号 AI算法与图像处理，获取更多干货：大家好,最近正在优化每周分享的CVPR论文, 目前考虑按照不同类别去分类,方便不同方向的小伙伴挑选自己感兴趣的论文哈大家好，目前给每天的论文汇总接入chatGPT帮忙总结，目前在...
【深度学习】CVPR 2023论文总结！CV最热领域颁给多模态、扩散模型
fengdu78的博客
05-22 6301
编辑：桃子 好困 来源：新智元【导读】CVPR 2023有哪些亮点？从录用论文中我们又能看到CV领域有哪些趋势？一年一度的CVPR即将在6月18-22日加拿大温哥华正式开幕。每年，来自世界各地的成千上万的CV研究人员和工程师聚集在一起参加顶会。这个久负盛名的会议可以追溯到1983年，它代表了计算机视觉发展的巅峰。目前，CVPR的h5指数所有会议或出版物中位列第四，仅次于《自然》、《科学》和...
CVPR 2023 | 一文看尽12篇Best Paper候选（附合集）
06-14 5389
CVPR 2023 Best Paper
【文献阅读】Perceptual Generative Adversarial Networks for Small Object Detection –CVPR-2017
06-06
好的，我了解了你的要求。关于你提到的这篇论文，是一篇关于小目标检测的研究，作者提出了一种基于感知生成对抗网络（PGAN）的方法来解决小目标检测问题。该方法通过对图像进行重新调整和增强，从而提高目标检测的精度和鲁棒性。这篇论文发表在2017年的计算机视觉与模式识别会议（CVPR）上。如果你还有其他问题，可以随时问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值