只做注意力机制怕是不够了，想要高分得加快速傅里叶变换！

快速傅里叶变换FFT，信号处理的经典算法，通过结合学术热点注意力机制，可以有效解决传统CNN在长程依赖建模、计算效率优化等核心问题上的局限性，应用扩展性高，尤其适合多模态融合等复杂任务。

这方向目前已在ICLR等顶会中频繁出现，微软等也提出过SpectFormer，在各CV任务中取得了SOTA性能！可见对论文er来说，无疑是个创新性高，顶会接受度好，适合发论文的研究方向，推荐有论文需求的同学关注。

为方便大家了解最新前沿进展，我整理了12篇快速傅里叶变换+注意力机制论文（有代码），从这些成果来看，这方向的研究仍处于快速发展期，大家如果感兴趣那就抓紧上车啦。

全部论文+开源代码需要的同学看文末

SpectFormer: Frequency and Attention is what you need in a Vision Transformer

方法：论文提出了一种名为 SpectFormer的新型视觉Transformer架构，通过结合快速傅里叶变换（FFT）和多头自注意力机制（MHSA），在图像识别任务中实现了更好的性能。

创新点：

• 提出 SpectFormer 架构，结合频谱层（基于快速傅里叶变换）和多头自注意力层。

• 在架构中先使用频谱层捕捉局部特征，再用注意力层建模全局依赖。

• 实现了在 ImageNet 等数据集上的性能提升，达到新的 SOTA。

The FFT Strikes Again: An Efficient Alternative to Self-Attention

方法：论文提出了一种名为FFTNet的方法，利用快速傅里叶变换（FFT）实现高效的全局信息混合，并结合自适应频谱滤波和非线性变换，以O(n log n)的复杂度替代传统的自注意力机制。

创新点：

• 提出 FFTNet，使用快速傅里叶变换（FFT）实现 O(n log n) 复杂度的全局信息混合。

• 引入自适应频谱滤波器，动态突出重要频率分量。

• 在频域和时域应用非线性变换，增强模型的表达能力。

Multi-scale fast Fourier transform based attention network for remote-sensing image super-resolution

方法：论文提出了一种基于快速傅里叶变换（FFT）和注意力机制的多尺度超分辨率网络（MSFFTAN），通过FFT提取全局信息和局部细节，并利用注意力机制增强小目标的重建能力，从而显著提升遥感图像超分辨率的效果。

创新点：

• 提出基于FFT的多尺度注意力网络（MSFFTAN），处理遥感图像中的多尺度目标。

• 设计FFT残差块，同时提取局部细节和全局结构。

• 引入局部-全局通道注意力块，增强小目标的重建效果。

Non-Stationary Time Series Forecasting Based on Fourier Analysis and Cross Attention Mechanism

方法：论文提出了一种基于快速傅里叶变换（FFT）和交叉注意力机制的时间序列预测框架AEFIN，利用FFT提取季节性和趋势特征，并通过交叉注意力机制增强稳定与不稳定成分间的信息共享，从而提高非平稳时间序列的预测精度。

创新点：

• 引入交叉注意力机制，增强时间序列中稳定和不稳定成分之间的信息共享。

• 结合傅里叶分析网络和多层感知机，深入挖掘不稳定成分中的季节性和趋势特征。

• 设计新的损失函数，融合时域和频域的稳定性约束，提升预测的准确性和鲁棒性。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“222”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏