图像超分领域的模块FMB

本文来自论文：SMFANet: A Lightweight Self-Modulation Feature Aggregation Network for Efficient Image Super-Resolution( ECCV 2024 )。论文源码：https://github.com/Zheng-MJ/SMFANet。如需要这个模块，可以私信我。

首先，基于Transformer的图像恢复方法之所以表现出色，是因为Transformer中的自注意力（Self-Attention, SA）机制能够探索图像中的非局部信息。这意味着，它不只是看一个像素点周围的几个像素点，而是会考虑整个图像中的信息，来帮助更好地重建出高分辨率的图像。但是，这种自注意力机制有个大问题，就是它需要的计算资源非常多，这使得它在那些电量有限的设备（比如手机、平板电脑等）上很难应用。另外，自注意力机制本身有点像是一个“低通滤波器”，它更擅长捕捉图像的整体结构和趋势，但不太擅长捕捉图像的局部细节。这就像是你从远处看一幅画，能看到大概的轮廓和颜色，但走近了才能看到画上的纹理和笔触。因此，如果只用自注意力机制来恢复图像，可能会得到比较平滑但缺乏细节的结果。

为了解决这些问题，论文作者提出了一个叫做“自调制特征聚合（Self-Modulation Feature Aggregation, SMFA）”的模块。这个模块通过两个分支来同时利用图像的局部和非局部特征，以达到更准确的图像重建。

• 一个分支是“高效自注意力近似（Efficient Approximation of Self-Attention, EASA）”分支，它用来模拟自注意力机制，捕捉图像中的非局部信息。但是，这个分支比传统的自注意力机制要高效得多，需要的计算资源更少。
• 另一个分支是“局部细节估计（Local Detail Estimation, LDE）”分支，它专门用来捕捉图像的局部细节，确保重建出来的图像既清晰又有细节。

此外，论文作者还引入了一个基于部分卷积的前馈网络（Partial Convolution-based Feed-forward Network, PCFN）来进一步精炼从SMFA模块中得到的特征。这个网络就像是一个“微调器”，它能够对已经很好的特征进行进一步的优化，让重建出来的图像更加完美。

实验结果显示，这个新的SMFANet系列方法在公共基准数据集上取得了很好的性能，同时计算效率也很高。与一些其他的方法相比，SMFANet+在五个公共测试集上的平均性能提高了0.14dB，而且运行速度快了10倍，模型复杂度只有其他方法的约43%。这意味着，你可以用更少的电量和更短的时间，得到质量更高的图像恢复结果。