时间序列+即插即用注意力模块！只需几行代码，预测误差狂降35.99%

即插即用的注意力模块可以显著提高时间序列预测模型的性能和准确性，同时保持模型的简洁和高效。

与传统的时序模型相比，注意力模块通过自适应处理输入数据的特征，以增强特征提取和空间/时间感知的能力。同时它可以很容易地集成到现有的深度学习架构中，作为一个独立的组件，即插即用，无需对整个模型架构进行大的改动。

因此，这种注意力模块通常具有更少的参数和计算量，可以专注于序列中最重要的部分，忽略无关或噪声数据，从而更准确地预测未来的趋势或事件。比如只需几行代码就能降低35.99%均方误差的FECAM。

为帮助同学们理解，本文整理了8种即插即用的时间注意力模块及其变体，有2024最新的，也有经典必看的，模块原文以及开源代码已附，方便同学们复现。

论文原文以及开源代码需要的同学看文末

频率增强信道注意力

FECAM: Frequency Enhanced Channel Attention Mechanism forTime Series Forecasting

方法：论文提出了基于离散余弦变换的频域增强通道机制（FECAM），可以避免由于有问题的周期性导致的高频噪声。通过在频域建模，FECAM可以给不同通道分配通道权重，并学习每个通道不同频率的重要性，从而学习时间序列的频域表示。

该模块可以提高现有主流网络的预测能力，只需几行代码，即可在LSTM上降低35.99%的MSE，在Reformer上降低10.01%，在Inf