时间序列+即插即用注意力模块！只需几行代码，预测误差狂降35.99%

即插即用的注意力模块可以显著提高时间序列预测模型的性能和准确性，同时保持模型的简洁和高效。

与传统的时序模型相比，注意力模块通过自适应处理输入数据的特征，以增强特征提取和空间/时间感知的能力。同时它可以很容易地集成到现有的深度学习架构中，作为一个独立的组件，即插即用，无需对整个模型架构进行大的改动。

因此，这种注意力模块通常具有更少的参数和计算量，可以专注于序列中最重要的部分，忽略无关或噪声数据，从而更准确地预测未来的趋势或事件。比如只需几行代码就能降低35.99%均方误差的FECAM。

为帮助同学们理解，本文整理了8种即插即用的时间注意力模块及其变体，有2024最新的，也有经典必看的，模块原文以及开源代码已附，方便同学们复现。

论文原文以及开源代码需要的同学看文末

频率增强信道注意力

FECAM: Frequency Enhanced Channel Attention Mechanism forTime Series Forecasting

方法：论文提出了基于离散余弦变换的频域增强通道机制（FECAM），可以避免由于有问题的周期性导致的高频噪声。通过在频域建模，FECAM可以给不同通道分配通道权重，并学习每个通道不同频率的重要性，从而学习时间序列的频域表示。

该模块可以提高现有主流网络的预测能力，只需几行代码，即可在LSTM上降低35.99%的MSE，在Reformer上降低10.01%，在Informer上降低8.71%，在Autoformer上降低8.29%，在Transformer上降低8.06%等，计算成本很小。

创新点：

• 引入离散余弦变换（DCT）来获取更多频率成分的时间序列信息。

• 设计了频率增强通道注意力机制（FECAM），可以作为独立的预测模型或添加到其他主流模型中，提高它们的预测性能。

线性时间序列预测

UnetTSF: A Better Performance Linear Complexity Time Series Prediction Model

方法：论文提出了一种具有线性复杂度的长时间序列预测模型UnetTSF。它提出了一种适用于时间序列数据的FPN描述结构，成为原始数据描述和二进制分解方法的第三种选择。UnetTSF将Unet网络结构引入时间序列预测领域，并设计实现了一种适用于时间序列预测的Unet网络。在32项测试中，它有31项优于最佳线性模型DLiner，平均降低了10.1%的均方误差和9.1%的平均绝对误差，在时间序列预测任务中展现了卓越的性能和线性复杂度优势。

创新点：

• FPN描述结构：该论文首次提出了一种适用于时间序列数据的FPN描述结构，利用池化函数对数据进行多层操作，从不同深度提取趋势信息，并共同形成一个数据组，以取代原始数据。这种描述结构能够更好地捕捉时间序列数据的特征。

• 引入Unet网络结构：该论文将Unet网络结构引入时间序列预测领域，并设计实现了适用于时间序列预测的Unet网络。通过与DLiner和PatchTST等复杂模型的对比实验，证明了UnetTSF具有更优越的性能。UnetTSF具有线性复杂度，更适用于实际生产和生活。

因果时间注意力

CityCAN: Causal Attention Network for Citywide Spatio-Temporal Forecasting

方法：论文提出了一种用于城市范围内时空预测的Causal Attention Network (CityCAN)。CityCAN利用因果理论来发现城市范围内的有用的时空相关性，并通过隐式干预在潜在层面上学习有用的区域相关性。

为了同时捕捉普通和非规则区域的时空相关性，CityCAN引入了一个全局-局部注意编码器，通过校准的注意机制来捕捉本地和全局的时空相关性。为了使CityCAN能够一次准确预测城市中所有区域的目标特征，论文还提出了一种考虑预测和实际条件之间的城市范围分布的城市范围损失。

创新点：

• 提出了CityCAN，一种用于城市范围ST预测的因果注意网络，利用因果理论揭示了时空相关性。

• 引入了全局局部关注编码器，用于更好地建模空间和时间依赖关系。

• 设计了一种城市范围损失函数，通过考虑城市中所有区域的预测分布，实现了更好的城市范围ST预测。

金字塔时间注意力

PYRAFORMER: LOW-COMPLEXITY PYRAMIDAL ATTENTION FOR LONG-RANGE TIME SERIES MODELING AND FORECASTING

方法：本文提出了一种基于金字塔注意力的Pyraformer模型，通过多分辨率表示来捕捉时间序列的不同范围的时间依赖关系。具体来说，作者引入了金字塔注意力模块（PAM），其中的跨尺度树结构总结了不同分辨率的特征，而内部尺度的相邻连接则模拟了不同范围的时间依赖关系。在一定条件下，Pyraformer的信号传播路径的最大长度是一个常数（即O（1）），而其时间和空间复杂度与序列长度L成线性关系。

创新点：

• 提出了Pyraformer模型，通过探索时间序列的多分辨率表示来构建一个灵活而简洁的模型，能够捕捉广泛的时间依赖关系。

• 引入了金字塔注意力机制，通过在金字塔图中基于注意力进行消息传递来构建。金字塔图中的边可以分为两组：跨尺度连接和内部尺度连接。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“时间注意力”获取全部论文+代码

码字不易，欢迎大家点赞评论收藏