注意力机制新思路！频域+Attention，精度超SOTA22.6%

频域与注意力机制的结合是一种创新的网络设计方法，它利用频域分析来增强特征提取过程，并通过注意力机制进一步优化特征的利用效率。

这种策略有助于模型捕捉和利用信号中的关键频率成分，不仅能够提高模型的性能和精度，还能在一定程度上简化模型的设计和优化过程。

以浙大团队的FcaNet为例：

FcaNet是一种非常巧妙的通道注意力机制，从频域的角度出发，采用DCT对SE进行了扩展。这种方法简洁而高效，仅需对原有代码进行微小的改动，即能实现相较于SENet50模型1.8%的性能提升。

因此，频域与Attention的结合也是深度学习中的一个热门方向，并且由于我们以往对频域的关注较少，可挖掘的创新点很多。

本文分享频域+注意力机制9种融合创新方案，有最新的也有经典的，主要涉及自适应频域特征提取+attention、多尺度频域+attention等，方便各位获取灵感。

论文以及开源代码需要的同学看文末

SpectFormer

SpectFormer: Frequency and Attention is what you need in a Vision Transformer

方法：之前，transformer要么使用全注意力层，要么使用谱层。Spectformer结合了这两个方面，并且表现出比全注意力层或全谱层更好的性能。作者在特定任务中提出了参数化方法，为进一步的适应性提供了可能性。