图像超分：HAN（Single Image Super-Resolution via a Holistic Attention Network）

论文：Single Image Super-Resolution via a Holistic Attention Network
文章检索出处：2020 ECCV

看点

通道注意已被证明在每一层能有效的保存丰富的特征信息。然而，它将每个卷积层试做一个单独的过程，忽略了不同层之间的联系。为了解决这一问题，本文提出了整体注意网络（HAN），主要贡献如下：
1）引入了一个层注意模块（LAM），通过考虑层间相关性来学习不同层特征的权重。同时，提出了通道空间注意模块（CSAM）来学习各层特征的通道和空间相关性。
2）提出的两个注意模块通过对层、通道和位置之间的特征信息进行建模，实现了SOTA。

方法

overview

如下图所示，HAN由四部分组成：特征提取、层注意模块、通道空间注意模块和最终的重构模块。
给定LR，HAN的第一个卷积层提取一组浅层特征图，然后一系列残差组进一步提取LR的深层特征。其间，利用所提出的LAM来学习残差组输出的特征图的相关性，以及一个CSAM来研究通道和像素之间的相互依赖关系。最后，通过上采样模块产生HR。

层注意模块

尽管稠密连接和跳层连接允许浅层信息绕过深层，但这些操作没有利用不同层之间的相关性。相反，LAM可以通过获取不同深度特征之间的依赖关系，对不同层的特征分配不同的注意权重，提高提取到的特征的表示能力，结构如下图所示。

输入为N个残差组（使用共10个RCAN结构）中提取到的中间特征$F{G}_s$，其维数为N×H×W×C。然后将特征组reshape到一个N×HWC的二维矩阵，并应用矩阵乘法和相应的转置来计算不同层之间的相关性

其中，δ(·)表示Softmax，φ(·)代表reshape。最后，将reshape后的特征组乘以关联矩阵和一个比例因子α，并和输入特征相加

其中，α初始化为0。

通道空间注意

现有的注意机制没有同时兼顾尺度维度和通道维度。为此，本文提出了CSAM，它包含了所有维度的特征图。注意，尽管可以对从RCAN中提取的所有特征组都执行CSAM，但只调整最后一个特征组，以在精度和速度之间进行权衡，结构如下图所示。

给定最后一层特征图$F_N\in R^{H\times W\times C}$，将$F_N$输入到三维卷积层，通过捕捉通道和空间特征来生成$W_{csa}$，具体如下：

其中$F_{CS}$为CSAM的输出，σ(·)为sigmoid激活函数，β是权重，初始化为0。

实验

数据集

使用DIV2K作为训练集，采用双线性插值和BD退化处理。

消融实验

LAM和CSAM模块的消融实验

不同数量RG组的消融实验

不同数量CSAM的消融实验

量化评估

另提出了自集成模型，并将命名为HAN+
BI处理后的测试集x2，x4量化


BD处理后的测试集x3量化