只说了参数量却没有比较速度,此外PA应用在大的网络中会降低性能!
论文地址:https://arxiv.org/pdf/2010.01073.pdf
Github地址:https://github.com/zhaohengyuan1/PAN
Abstract:
这项工作旨在设计一种用于图像超分辨率(SR)的轻量级卷积神经网络。在不考虑简单性的情况下,我们使用新提出的像素注意力方案构建了一个非常简洁有效的网络。像素注意力(PA)类似于公式中的通道注意力和空间注意力。不同之处在于,PA生成3D注意力图而不是1D注意力矢量或2D图。该注意力策略引入了较少的附加参数,但生成了更好的SR结果。在PA的基础上,我们分别为主分支和重建分支提出了两个构造块。第一个-SC-PA块的结构与自校准卷积相同,但具有我们的PA层。由于其双分支架构和注意力方案,该模块块比常规的残差/密集块效率更高。而第二个-UPA块结合了最近邻上采样,卷积和PA层。它以很少的参数成本提升了最终的重建质量。我们的最终模型PAN可以达到与轻量级网络SRResNet和CARN相似的性能,但是参数只有272K(SRResNet的17.92%和CARN的17.09%)。每个提出组件的有效性也通过消融研究得到验证。
PAN:
主要在main分支提出了SC-PA模块(SC+PA)和重建分支的U-PA块。SC是SCNet中的自校准卷积https://blog.csdn.net/weixin_42096202/article/details/105876498,PA就是H X W X C维度的注意力权重,其他网络早已经提出并使用了。
Pixel Attention Scheme(PA):
与通道/空间注意力机制的区别就是:
1.通道注意力生成1x1xC维度的注意力权重
2.空间注意力生成hxwx1维度的注意力权重
3.像素注意力生成hxwxc维度的注意力权重
网络结构也非常简单,就是1x1卷积+sigmoid激活函数。
SC-PA Block:
与SCNet中的SCConv有区别,对输入xn-1先使用两个1x1卷积进行分离,然后经过两个分支进行特征提取拼接。其中上分支使用带PA的网络结构。
U-PA Block:
结构比较简单,采用NN+Conv+PA+Conv结构,其中NN是最近邻上采样。
在以前的SR网络中,重构模块基本上由上采样和卷积层组成。 而且,很少有研究者调查过上采样阶段的注意力机制。 因此,在这项工作中,作者在重建模块中采用了PA层。 实验表明,引入PA可以显着提高最终性能,而参数成本却很少。 此外,本文还使用最近邻插值层作为上采样层以进一步节省参数。
Experiments:
1. Ablation Study:
A. CA/SA/PA比较
B. RB-PA/SC-PA比较
C. PA带来增益
2.VS SOTA:
3.应用于大网络,效果会降低