【图像超分辨率重建】——HAN论文精读笔记

最新推荐文章于 2024-06-05 09:58:23 发布
最新推荐文章于 2024-06-05 09:58:23 发布
阅读量1.4k 收藏 16
点赞数 3
分类专栏： 图像超分辨率重建论文精读 文章标签： 超分辨率重建 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zency/article/details/128335691
版权

2020-Single Image Super-Resolution via a Holistic Attention Network(HAN)

基本信息

作者： Ben Niu; Weilei Wen; Wenqi Ren, Xiangde Zhang, Lianping Yang;Shuzhen Wang, Kaihao Zhang, Xiaochun Cao, and Haifeng Shen
期刊： ECCV2020
引用： *
摘要： 信息性特征在单幅图像的超分辨率任务中起着至关重要的作用。通道注意力已被证明可以有效地保留每一层的信息丰富的特征。然而，通道注意将每个卷积层作为一个单独的过程，而忽略了不同层之间的关联性。为了解决这个问题，我们提出了一个新的整体注意网络（HAN），它由一个层注意模块（LAM）和一个通道空间注意模块（CSAM）组成，用来模拟层、通道和位置之间的整体相互依赖关系。特别是，拟议的LAM通过考虑各层之间的相关性，自适应地强调层次特征。同时，CSAM学习每个通道的所有位置的条件，以选择性地捕获更多的信息特征。广泛的实验表明，所提出的HAN与最先进的单幅图像超分辨率方法相比，表现得很好。

1.简介

基于CNN的方法主要归功于两个方面
非常深的层的网络：有更大的接受域，具有能力来学习LR输入和HR对应之间的复杂映射关系
残差学习：SR网络的深度会越来越深，因为残差学习可以有效地缓解梯度消失和爆炸的问题

  • 目前超分存在的问题：但是由于现有的大多数基于CNN的SR方法忽略了中间层的特征相关性，LR图像的纹理细节往往在超分辨率的结果中被平滑化。因此，在SR任务中，生成详细的纹理仍然是一个非艰巨的问题。虽然通过使用通道注意力得到的结果保留了一些细节信息，但这些基于通道注意力的方法在保留信息纹理和恢复自然细节方面很困难，因为它们平等地对待不同层的特征图，导致在重建的图像中损失了一些细节部分。

  • RCAN存在的局限：不能对来自多尺度层的特征进行加权。特别是来自浅层的长期信息很容易被削弱。尽管浅层特征可以通过跳过连接进行回收，但在长跳过连接后，它们与深层特征在各层中被同等对待，因此阻碍了CNN的表示能力。

  • 本文对RCAN的改进：我们考虑在层次上探索特征之间的相互关系，并提出了一个层注意模块（LAM）。另一方面，通道注意忽略了每个特征图中不同位置的重要性。因此，我们还提出了一个通道-空间注意模块（CSAM），以协同提高所提出的SR网络的识别能力。

本文的贡献：

  • 提出了一种新的超级分辨率算法，名为整体注意力网络（HAN），它增强了超级分辨率的特征表征的表示能力。
  • 我们引入了一个层注意模块（LAM），通过考虑多尺度层的相关性来学习分层特征的权重。同时，我们提出了一个通道-空间注意模块（CSAM）来学习各层特征的通道和空间的相互依赖性。
  • 所提出的两个注意力模块通过对分层、通道和位置之间的信息特征进行建模，协同改善SR的结果。广泛的实验表明，我们的算法与最先进的SISR方法相比表现良好。

2.相关工作

  • 基于深度学习的超分辨：SRCNN，DRCN，DRRN，LapSRN，EDSR，SRGAN，SRNTT等
  • 注意力机制：RCAN、CBAM（其他领域）、MAM、SAN等

3.HAN模型

3.1.网络结构

网络结构：特征提取——LAM（层注意模块）——CSAM（通道注意模块）——重建模块

  • HAN模型整体框架
    在这里插入图片描述
  • LAM模块框架

学习不同深度特征之间的关系，提高特征表示能力在这里插入图片描述

  • CSAM模块框架
    提取强大的表示信息，以描述连续通道中的通道间和通道内的信息。
    在这里插入图片描述

4.实验

4.1.基本设置

  • 训练集：DIV2K
  • 测试集：Set5，Set14，B100，Urban100，Mega109
  • 退化模型：BD模型和BI模型
  • PSNR计算方式：YCbCr
  • 使用RCAN的预训练模型初始化整体的注意力网络，Patch=64

4.2.LAM和CSAM的消融研究

仅使用LAM和仅使用CSAM相比于RCAN均有提升，且两个模块均使用提升更多。
在这里插入图片描述

4.3.不同数量的残差组的消融性研究

使用更少的RGs仍然比RCAN效果更好。

在这里插入图片描述

4.4.CSAM数量的消融研究

更多数量的CSAM会达到更优的效果
在这里插入图片描述

4.5.BI模型的结果

4.6.BD模型的结果

以上两部分的结果见原文

5.结论

在本文中，我们提出了一种用于单图像超分辨率的整体注意力网络，该网络使用自注意力机制自适应地学习不同深度、通道和位置之间的全局相关性。具体来说，层关注模块（LAM）捕获分层层之间的长距离依赖关系。同时，频道空间注意模块（CSAM）将频道和上下文信息合并到每个层中。这两个注意力模块协同应用于多层次特征，然后可以捕获更多信息性特征。在基准数据集上的大量实验结果表明，所提出的模型在准确性和视觉质量方面优于最先进的SR算法。

代码实现

https://github.com/wwlCape/HAN

个人总结

  • 本文是对RCAN注意力机制的继承和发展
Sunny_Coder
关注
专栏目录
【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等
畅游计算机视觉的海洋
03-25 1万+
本专栏研究领域为【超分辨率重建】，涵盖图像超分、视频超分，实时超分，4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今，一般是一篇论文精读对应一篇论文复现。论文精读详解理论，归化繁为简，归纳核心，积累词句，培养阅读论文和论文写作能力。论文复现依托Pytorch代码，实现完整的模型训练流程，总结调参方法，记录碰到的bug，论文插图可视化，培养读写代码能力、做实验的能力、以及应用落地能力。
【图像超分】论文精读：Fast, Accurate, and Lightweight Super-Resolution with Cascading Residual Network（CARN）
畅游计算机视觉的海洋
05-25 728
近年来，深度学习方法已成功应用于单图像超分辨率任务。尽管深度学习方法具有出色的性能，但由于计算量大，不能轻易应用于实际应用。在本文中，我们通过提出一种精确、轻量级的图像超分辨率深度网络来解决这个问题。具体来说，我们设计了一种在残差网络上实现级联机制的架构。我们还提出了所提出的级联残差网络的变体模型，以进一步提高效率。我们广泛的实验表明，即使参数和操作要少得多，我们的模型也实现了与最先进方法相当的性能。
超分辨率matlab代码-HAN:我们的ECCV2020论文“通过整体注意力网络实现单图像超分辨率”的PyTorch代码
05-26
超分辨率matlab代码韩 我们的ECCV 2020论文“通过整体注意力网络实现单图像超分辨率”的PyTorch代码 该存储库适用于以下论文中介绍的HAN 张玉伦，李坤鹏，李凯，王丽晨，钟斌能和付云，“通过整体注意力网络实现单图像超分辨率”，ECCV 2020， 该代码基于RCAN（PyTorch）构建并在具有Titan X / 1080Ti / Xp GPU的Ubuntu 16.04 / 18.04环境（Python3.6，PyTorch_0.4.0，CUDA8.0，cuDNN5.1）上进行了测试。 内容 介绍 信息功能在单图像超分辨率任务中起着至关重要的作用。 事实证明，渠道关注对于保留每一层中信息量丰富的功能是有效的。 但是，频道注意力将每个卷积层视为一个单独的过程，从而错过了不同层之间的相关性。 为了解决这个问题，我们提出了一个新的整体注意网络（HAN），该网络由一个图层注意模块（LAM）和一个通道空间注意模块（CSAM）组成，以对图层，通道和位置之间的整体相互依赖性进行建模。 具体地，提出的LAM通过考虑各层之间的相关性来自适应地强调分层特征。 同时，CSAM学习每个通道所有
图像超分：HAN（Single Image Super-Resolution via a Holistic Attention Network）
WangsyHebut的博客
12-30 6248
论文：Single Image Super-Resolution via a Holistic Attention Network 文章检索出处：2020 ECCV通道注意已被证明在每一层能有效的保存丰富的特征信息。然而，它将每个卷积层试做一个单独的过程，忽略了不同层之间的联系。为了解决这一问题，本文提出了整体注意网络（HAN），主要贡献如下： 1）引入了一个层注意模块（LAM），通过考虑层间相关性来学习不同层特征的权重。同时，提出了通道空间注意模块（CSAM）来学习各层特征的通道和空间相关性。 2）提出的
【图像超分辨率重建】——SRGAN/SRResNet论文精读笔记
Sunny_Coder的博客
11-10 4285
SR的不是适定性导致SR图像缺乏纹理细节，有监督的SR算法的优化目标通常是最小化恢复的HR图像和地面真实之间的平均平方误差（MSE）。这很方便，因为最小化MSE也能使峰值信噪比（PSNR）最大化，而峰值信噪比是用来评估和比较SR算法的一个常用指标。然而，MSE（和PSNR）捕捉感知上相关差异的能力是非常有限的，比如高纹理细节，因为它们是基于像素级的图像差异来定义的。最高的PSNR并不一定反映出感知上更好的SR结果。
HAN论文笔记
qq_42791848的博客
01-10 603
Hierarchical Attention Network 《Hierarchical Attention Network》一文提出了一种层次化的注意力网络。在Seq2Seq里的注意力机制，我们其实做的是word-level的attention，而这篇文章的亮点在于它提出双层attention，即word-level和token-level。 Model Structure 整个HAN其实主要包含三大部分： Word Encoder Word-level Attention Sentence-level
稀疏表示技术在二维条形码图像超分辨率重建中的应用
这种方法利用了稀疏表示理论，使得在低分辨率图像中找到的信息可以准确地映射到高分辨率图像上，从而实现图像的精细重构。 此外，文章还采用了全局优化策略来处理图像的非局部相似性，确保在整个图像中保持一致性。...
通过最近的特征线实现人脸图像超分辨率
03-10
在超分辨率图像处理领域，学术界和工业界一直致力于从低分辨率图像中复原出高分辨率图像，尤其是在人脸图像处理方面，高清晰度的人脸图像对于智能视频监控、执法、信息安全等领域具有重要的应用价值。传统的超分辨率...
【图像超分辨率重建】——SAN论文精读笔记
Sunny_Coder的博客
12-27 1973
近年来，深度卷积神经网络（CNN）在单图像超分辨率（SISR）中得到了广泛的研究，并取得了显著的性能。然而，大多数现有的基于CNN的SISR方法主要侧重于更广泛或更深入的架构设计，而忽略了中间层的特征相关性，因此阻碍了CNN的代表能力。为了解决这个问题，在本文中，我们**提出了一种二阶注意力网络（SAN），用于更强大的特征表达和特征相关性学习。具体而言，开发了一种新的可训练二阶信道注意（SOCA）模块，通过使用二阶特征统计来自适应地重新调整信道方向特征，以获得更具鉴别性的表示。此外，我们提出了一种非局部增强
HAN论文阅读与代码详解
qq_45678095的博客
08-10 956
HAN论文阅读与代码详解
【图像超分辨率重建】——HAN论文阅读笔记
weixin_52143654的博客
04-25 1298
HAN论文阅读笔记
【论文解读 WWW 2019 | HAN】Heterogeneous Graph Attention Network
byn12345的博客
03-20 4622
论文题目：Heterogeneous Graph Attention Network 论文来源：WWW 2019 论文链接：https://arxiv.org/abs/1903.07293v1 代码链接：https://github.com/Jhy1993/HAN 关键词：社交网络, 神经网络, 图分析, 注意力机制(Attention) 文章目录1 摘要2 引言3 定义4 HAN模型4.1 ...
探索图像超分辨率的未来：Holistic Attention Network（HAN）
最新发布
gitblog_00036的博客
06-05 410
探索图像超分辨率的未来：Holistic Attention Network（HAN） HANPyTorch code for our ECCV 2020 paper "Single Image Super-Resolution via a Holistic Attention Network"项目地址:https://gitcode.com/gh_mirrors/han2/HAN 项目介绍 在...
HAN
Torero_lch的博客
09-10 2720
NAACL2016论文Hierarchical Attention Network for Document Classification利用分层的注意力机制来构建文本表示向量并用于分类任务，效果很好，作者个人主页http://www.cs.cmu.edu/~zichaoy/。 HAN模型就是分层次的利用注意力机制来构建文本向量表示的方法。 文本由句子构成，句子由词构成，HAN模型对应这个结构...
HAN论文模型代码复现与重构
larry233的博客
03-17 5156
论文简介 本文主要介绍CMU在2016年发表在ACL的一篇论文：Hierarchical Attention Networks for Document Classification及其代码复现。 该论文是用于文档级情感分类（document-level sentiment classification）的，其模型架构如下：
超分：Single Image Super-Resolution via a Holistic Attention Network
wrongplanet的博客
04-01 2778
超分：Single Image Super-Resolution via a Holistic Attention Network超分：Single Image Super-Resolution via a Holistic Attention Network摘要主要亮点HAN网络架构1.网络组成2.读入数据总结新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义
残差结构详解
热门推荐
qimo601的专栏
10-19 1万+
残差元的主要设计有两个，快捷连接和恒等映射，快捷连接使得残差变得可能，而恒等映射使得网络变深，而恒等映射主要有两个：跳跃连接和激活函数。ResNets的提出，可以解决上述问题，即使网络再深，训练的表现仍表现很好。它有助于解决梯度消失和梯度爆炸问题，让我们在训练更深网络的同时，又能保证良好的信息。
学习盲图像超分辨率的退化分布
adhkcnbk的博客
04-08 4785
学习盲图像超分辨率的退化分布 文章目录学习盲图像超分辨率的退化分布摘要前言2、相关工作基于预定义的退化基于学习的退化3、学习退化过程的分布3.1 核模型3.2 噪声模型3.3 概率退化模型3.4 盲SR统一的框架4、实验4、1 实验设置4.2 与其他方法比较4.2 与其他方法比较 论文 代码 摘要 合成的高分辨率（HR）和低分辨率（LR)被广泛应用于现有的分辨率方法中，为了避免合成图像和测试图像之间的域差距，以往的大多数方法都试图通过确定性模型自适应地学习合成（退化）过程。然而，在真实场景中的一些退化是随机
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值