（ECCV 2022）即插即用高效长距离注意力机制模块，涨点涨点涨点

题目：Efficient Long-Range Attention Network for Image Super-resolution

论文地址：https://arxiv.org/pdf/2203.06697

创新点

• 高效的长程注意力模块（ELAB）：提出了一种新型的长程注意力模块，用于建模图像中的长程依赖性，从而提升图像超分辨率的性能。

• 简洁且高效的网络结构：设计了一个称为ELAN的网络，通过级联多个ELAB模块实现超分辨率映射，网络结构简洁且计算复杂度低，显著减少了冗余操作。

• Shift Convolution（移位卷积）和组内多尺度自注意力（GMSA）结合：使用Shift Convolution扩大感受野，并在非重叠的特征组上使用不同窗口大小的自注意力计算，既提高了长程依赖的建模能力，又控制了计算资源的使用。

• 共享注意力机制：提出了共享注意力机制，加速连续GMSA模块的计算，从而减少计算开销，显著提升推理效率。

方法

整体结构

       该论文提出的ELAN模型整体结构包括三个主要部分：首先，通过浅层特征提取模块从低分辨率图像中提取局部特征；接着，利用由多个高效长程注意力模块（ELAB）组成的深层特征提取模块，结合移位卷积和组内多尺度自注意力，捕捉图像中的局部和长程依赖性；最后，通过高分辨率重建模块将提取的深层和浅层特征融合，生成高质量的高分辨率图像。

• 浅层特征提取模块：这个模块由一个3×3的卷积层组成，主要用于从输入的低分辨率图像中提取局部特征。输出特征记为 XsX_s，用于进一步的深层特征提取。

• 深层特征提取模块（由多个ELAB模块组成）：深层特征提取模块由M个级联的高效长程注意力模块（ELAB）组成。ELAB模块包括：

  • 局部特征提取：通过两个移位卷积（shift-conv）操作提取局部结构信息，移位卷积具有较大的感受野，且计算复杂度与1×1卷积相同。

  • 组内多尺度自注意力（GMSA）：将特征分成不同组，在不同窗口大小上计算自注意力，从而实现长程依赖的建模。

  • 共享注意力机制：相邻的自注意力模块共享注意力得分，以减少计算资源并加速推理过程。

  • 高分辨率图像重建模块：该模块通过一个3×3卷积和像素混洗（Pixel Shuffle）操作将深层提取的特征 XdX_d 和浅层特征 XsX_s 结合，最终重建出高分辨率图像。

即插即用模块作用

ELAB 作为一个即插即用模块，主要适用于：

• 图像超分辨率（SR）任务：ELAB模块能够有效提取图像中的局部和全局特征，捕捉长程像素依赖性，从而在图像超分辨率任务中显著提升图像细节恢复和质量。

• 低计算资源场景：ELAB通过共享注意力机制和移位卷积大幅减少计算资源的消耗，因此特别适合需要高效推理的场景，如实时图像处理、移动设备和嵌入式系统中的应用。

• 长程依赖性建模任务：除了图像超分辨率，ELAB还可以用于任何需要长程依赖建模的视觉任务，如图像增强、去噪、图像修复等。其多尺度自注意力机