【论文阅读笔记】——PAN论文阅读笔记

沉潜于

已于 2023-08-30 20:50:23 修改

阅读量453

点赞数

文章标签：论文阅读笔记

于 2023-08-30 20:07:35 首次发布

本文链接：https://blog.csdn.net/weixin_52143654/article/details/132578448

版权

论文标题：Efficient Image Super-Resolution Using Pixel Attention

摘要：本文旨在设计一种用于图像超分辨率(SR)的轻量级卷积神经网络。考虑到简单性，我们使用新提出的像素注意力方案构建了一个非常简洁有效的网络。像素注意(Pixel attention, PA)与通道注意和空间注意在表述上相似。不同之处在于，PA生成的是3D注意力图，而不是1D注意力向量或2D地图。这种注意力方案引入了更少的额外参数，但产生了更好的SR结果。在PA的基础上，我们提出了两个构建模块，分别为主要分支和重建分支。第一，SC-PA块具有与自校准卷积相同的结构，但具有我们的PA层。由于其双分支结构和注意力方案，该块比传统的残差/密集块效率更高。而第二个U-PA块结合了最近邻上采样，卷积和PA层。以较小的参数成本提高了最终的重建质量。我们的最终模型| PAN可以达到与轻量级网络 SRResNet和CARN相似的性能，但只有272K个参数(SRResNet的17.92%和CARN的17.09%)。每个提出的组件的有效性也验证了消融实验。

1. 引言

基于深度学习的图像超分辨率重建方法发展迅速，其大计算成本限制其在现实生活中的应用，因此我们提出相同性能以参数最小化为目标的轻量化模型。像素注意力灵感来源于通道和空间注意力，通道注意力通过空间全局池化将之前的特征集中到一个向量上，而空间注意力通过通道池化将特征集中到单个特征映射上。我们发现这些方案在需要像素级评估的SR任务中效果较差。另一方面，简单地删除池操作可以显著提高性能。由于特征在逐像素的庄园中相乘(见图3)，我们将这种改进的注意方案称为像素注意，将我们的网络称为像素注意网络(PAN)。这项工作的主要贡献有三个方面：

1.我们提出了一种简单而基本的注意力方案[像素注意力(PA)]，该方案在轻量级SR网络中被证明是有效的。

2.我们在一个新的构建块SC-PA中集成了像素关注和自校准卷积，这是高效和建设性的。

3.我们在重建分支中使用像素关注，并提出了一个U-PA块。很少有研究调查了上采样后的注意力

2.相关工作

群卷积、深度可分离卷积以及自校准卷积用以加速深度模型。CARN-M利用群卷积进行有效的SR，IMDN通过拆分操作逐步提取分层特征。PAN利用自校准卷积实现有效SR。

SE-Net、BAM、CBAM、ECA、RCAN中的通道注意力、SAN中的二阶注意力等都侧重于开发复杂的注意力模块 。

我们在重构阶段采用了基于注意机制的U-PA块，以便更好地进行重构。

3.方法

3.1 网络结构

网络主要分为三个部分：特征提取、SC-PA模块堆叠的非线性映射模块、U-PA重建模块。

3.2 像素注意

通道注意获取一维(C ×1×1)注意特征向量，空间注意获取二维(1 × H × W)注意图，我们的像素注意力能够生成一个3D (C × H × W)矩阵作为注意力特征

3.3 SC-PA模块

每一个SC-PA模块都有两个分支，每一个分支的开头有一个1x1的卷积。上面的分支还配备两个3x3的卷积，第一个卷积层配备了一个像素注意模块，这个分支把X’n-1变为X‘n。为保持原始信息，我们使用一个3x3的卷积来生成x’‘n。将两个通过concat连接起来并传递给1x1的卷积层最后生成最后特征该块的灵感来源于SCNet[21]。主要区别在于我们采用了PA方案来取代SCNet中的池化和上采样层[21]。

3.4 U-PA模块

在最后的重建模块中，除了非线性映射模块，还采用了像素关注。如图4所示，U-PA块由最近邻(NN)上采样层和两个卷积层之间的PA层组成。在以前的SR网络中，重构模块基本上由上采样层和卷积层组成。

3.5 讨论

我们通过实验发现，PA对小型网络特别有用。但随着网络规模的增大，其有效性逐渐降低。这主要是因为PA可以提高卷积的表达能力，这对于轻量级网络来说非常重要。相比之下，大规模网络是高度冗余的，其卷积没有得到充分利用，因此改进主要来自于更好的训练策略。

4. 实验（略）

5. 结论

本文提出了一种轻量级的卷积神经网络来实现图像的超分辨率。特别地，我们设计了一种新的像素关注方案，像素关注(pixel attention, PA)，它包含很少的参数，但有助于产生更好的重建结果。此外，基于像素关注方案，提出了主分支和重建分支两个构建块。主支路SC-PA块与自校准卷积结构相似，重建支路U-PA块采用最近邻上采样和卷积层。该框架能够以较小的参数代价提高SR性能。实验表明，我们的最终模型| PAN可以达到与最先进的轻量级网络相当的性能。