基于注意力机制的超分辨率重建汇总

基于注意力机制超分辨率汇总

1、Channel Attention and Multi-level Features Fusion for Single Image Super-Resolution ,2018

[arXiv]  https://arxiv.org/pdf/1810.06935v1.pdf

人工智能图像超分辨率单图像超分辨率的通道注意和多级特征融合方法 http://www.sohu.com/a/260019811_100177858

Channel Attention and Multi-level Features Fusion for Single Image Super-Resolution 文章的解读 - breezero的博客 - CSDN博客 https://blog.csdn.net/breezero/article/details/84557542

attention机制总结 - 程序员大本营 http://www.pianshen.com/article/9778303586/

•通道注意：在递归单元的开头，我们利用通道注意机制自适应地重新校准输入要素的通道重要性。

•多级功能融合：我们同时提取深层功能并聚合多级功能。此外，在每个递归单元的末尾添加从第一Conv层提取的LR特征映射。

•更多地关注细节学习：我们使用转置卷积来升级残余分支和双三次插值以升级身份分支。实验表明，在一个分支上使用固定方法并修改另一个分支比相互调整更好。

 

 

2、注意力机制区分纹理和平滑

An Attention-Based Approach for Single Image Super Resolution,2018

Liu Y , Wang Y , Li N , et al. An Attention-Based Approach for Single Image Super Resolution[J]. 2018.

[arXiv]  https://arxiv.org/abs/1807.06779?context=cs

[ResearchGate] https://www.researchgate.net/publication/326476740_An_Attention-Based_Approach_for_Single_Image_Super_Resolution

人工智能算法基于注意力机制的单图像超分辨率方法区分纹理和平滑 - 51CTO.COM http://ai.51cto.com/art/201807/579633.htm

基于注意力的方法来区分纹理区域和平滑区域。在定位高频细节的位置之后，执行高频补偿。

consists of two parts:the feature reconstruction networks which aims to recover the HR image and the attention producing network

DenseRes块，由残余构建块（Resblock）组成。

应对高频细节恢复的注意机制。受U-net 的启发，用于语义像素分割，我们提出了一种新颖的混合密集连接U-net，以帮助网络区分区域是否充满需要修复的微小纹理或类似于插值图像。它作为一个特征选择器，有选择地增强高频功能。因此，纹理可以尽可能地恢复。

提出了一种基于注意力的方法来区分纹理区域和平滑区域。当定位高频细节的位置时，注意机构用作特征选择器，其增强高频特征并抑制平滑区域中的噪声。因此，我们的方法避免盲目地恢复高频细节。我们将该机制集成到SISR网络中，包括SRResNet，VDSR和DRCN，并且这些SISR网络的性能都得到了改进。因此，验证了注意机制的有效性。至于特征重建网络，我们提出了DenseRes块，它提供了一种组合低级特征和高级特征的有效方法。通过多个DenseRes块的级联，我们的网络具有大的感知域。因此，捕获来自LR图像的大区域中的有用的上下文信息以恢复HR图像中的高频细节。与最先进的方法相比，我们的方法具有最佳性能。在未来，我们将探索视频超分辨率中注意机制的应用，以产生视觉和数量上的高质量结果。

如图1所示，我们的网络由两部分组成：旨在恢复HR图像的特征重建网络和目的是找到要修复的高频细节的注意力产生网络。通过两个网络输出的相乘，我们将得到HR图像的残差。

3、基于通道注意力的卷积神经网络在图像超分辨率重建中的应用,2018

王东飞. 基于通道注意力的卷积神经网络在图像超分辨率重建中的应用[J]. 广播与电视技术, 2018(6):63-66.

CA-VDSR，对极深超分辨率卷积神经网络(VDSR)进行了改进。

挤压（Squeeze）、激励（Excitation）、特征重新校准。

 

通道注意力机制的引入，使得在 VDSR 中影响很大的残差机制的重要性在 CA-VDSR 中下降了。

 

 4、RCAN：超分辨率中的注意力机制,ECCV2018

Image Super-Resolution Using Very Deep Residual Channel Attention Networks

RCAN：超分辨率中的注意力机制 - 知乎 https://zhuanlan.zhihu.com/p/53466363

1、在超分辨率任务中，引入Attention机制来区别对待不同的通道，从而可以提高网络的表征能力； 2、提出了新的Residual in Residual （RIR）结构，因而网络可以更深；

Channel Attention (CA)

直接堆叠类似EDSR中的Block没有意义，并没有更好的利用深度网络中的表征能力。

在网络的特征图中，不同通道的特张图捕捉的网络特征是不同的，而正是因为这些不同点对于超分辨任务中高频特征的恢复的贡献是不一样的，因此作者提出了采用channel attention的机制对特征图中的通道赋予不同的权重，来增加通道之间的差异性。其结构如图所示：

 

对卷积输出的特征图直接采用global pooling的方式将信息归一化至一个点，其中很多信息将会丢失。

采用RoiPooling这样的思想，划分区域，或者说直接采用self Attention中的结构。因为就算是特征图的同一个通道，不同的位置获取的特征也是不同的，而超分辨率任务就是要尽可能多的获取低分辨率特征图和输入的信息，因此给这种权重的信息进一步扩展应该能获得更好的信息。

Residual in Residual (RIR)

借鉴了ResNet中残差学习的思想，通过local和global残差的耦合，使得信息流的传递更好。这样的目的也是为了能够进一步加深网络的深度，同时训练过程中网络能够更好的收敛。

 

 

 组内对比实验：

组间对比效果：

 

论文：http://openaccess.thecvf.com/content_ECCV_2018/papers/Yulun_Zhang_Image_Super-Resolution_Using_ECCV_2018_paper.pdf

代码：GitHub - yulunzhang/RCAN: PyTorch code for our ECCV 2018 paper "Image Super-Resolution Using Very Deep Residual Channel Attention Networks" https://github.com/yulunzhang/RCAN

RCAN Image Super-Resolution Using Very Deep Residual Channel Attention Networks-ECCV2018 - luzhongshan的博客 - CSDN博客 https://blog.csdn.net/aaa958099161/article/details/82836846

ECCV 2018 Open Access Repository http://openaccess.thecvf.com/content_ECCV_2018/html/Yulun_Zhang_Image_Super-Resolution_Using_ECCV_2018_paper.html

[arXiv] https://arxiv.org/abs/1807.02758

 

超分：Image Super-Resolution Using Very Deep Residual Channel Attention Networks 阅读理解 - 春秋战车 - CSDN博客 https://blog.csdn.net/ZHANG2012LIANG/article/details/85226921

文献阅读:Image Super-Resolution Using Very Deep Residual Channel Attention Networks - 暮日落流年的博客 - CSDN博客 https://blog.csdn.net/alxe_made/article/details/85840031

RCAN——Image Super-Resolution Using Very Deep Residual Channel Attention Networks - seniusen - 博客园 https://www.cnblogs.com/seniusen/p/10851738.html