本文来自论文:SMFANet: A Lightweight Self-Modulation Feature Aggregation Network for Efficient Image Super-Resolution( ECCV 2024 )。论文源码:https://github.com/Zheng-MJ/SMFANet。如需要这个模块,可以私信我。
首先,基于Transformer的图像恢复方法之所以表现出色,是因为Transformer中的自注意力(Self-Attention, SA)机制能够探索图像中的非局部信息。这意味着,它不只是看一个像素点周围的几个像素点,而是会考虑整个图像中的信息,来帮助更好地重建出高分辨率的图像。但是,这种自注意力机制有个大问题,就是它需要的计算资源非常多,这使得它在那些电量有限的设备(比如手机、平板电脑等)上很难应用。另外,自注意力机制本身有点像是一个“低通滤波器”,它更擅长捕捉图像的整体结构和趋势,但不太擅长捕捉图像的局部细节。这就像是你从远处看一幅画,能看到大概的轮廓和颜色,但走近了才能看到画上的纹理和笔触。因此,如果只用自注意力机制来恢复图像,可能会得到比较平滑但缺乏细节的结果。
为了解决这些问题,论文作者提出了一个叫做“自调制特征聚合(Self-Modulation Feature Aggregation, SMFA)”的模块。这个模块通过两个分支来同时利用图像的局部和非局部特征,以达到更准确的图像重建。
- 一个分支是“高效自注意力近似(Efficient Approximation of Self-Attention, EASA)”分支,它用来模拟自注意力机制,捕捉图像中的非局部信息。但是,这个分支比传统的自注意力机制要高效得多,需要的计算资源更少。
- 另一个分支是“局部细节估计(Local Detail Estimation, LDE)”分支,它专门用来捕捉图像的局部细节,确保重建出来的图像既清晰又有细节。
此外,论文作者还引入了一个基于部分卷积的前馈网络(Partial Convolution-based Feed-forward Network, PCFN)来进一步精炼从SMFA模块中得到的特征。这个网络就像是一个“微调器”,它能够对已经很好的特征进行进一步的优化,让重建出来的图像更加完美。
实验结果显示,这个新的SMFANet系列方法在公共基准数据集上取得了很好的性能,同时计算效率也很高。与一些其他的方法相比,SMFANet+在五个公共测试集上的平均性能提高了0.14dB,而且运行速度快了10倍,模型复杂度只有其他方法的约43%。这意味着,你可以用更少的电量和更短的时间,得到质量更高的图像恢复结果。