iTransformer: inverted transformers are effective for time series forecasting

最新推荐文章于 2025-04-11 15:06:07 发布

弱鸡_

最新推荐文章于 2025-04-11 15:06:07 发布

阅读量955

点赞数 8

文章标签：人工智能

本文链接：https://blog.csdn.net/qq_62615329/article/details/143799704

版权

1. 问题背景

在传统的transformer预测模型中，将多个变量的同一时间戳作为一个temporal token，然后使用attention机制捕获时间相关性。但由于各时间戳间语义关系较小，transformer模型在性能和效率上都不如简单的线性层。

作者认为基于transformer的预测器不适合多元时间序列预测。理由如下：1. 将同一时间戳不同变量值融合为一个temporal token，会消除多元相关性。2. 由单个时间戳形成的token，会受局部感受野和时间未对齐事件影响，很难揭露有用信息。3. 在时间维度上不正确地采用了排列不变注意力机制

基于以上原因，作者将每个变量的整个时间序列作为一个variate token，这样的token聚合了变量的完整序列，可以更加以变量为中心；注意力模块可以更好地建模多变量之间的相关性；前馈网络可以更好地从任意历史序列捕获特征，并用学到的特征来预测未来序列。

总的来说，作者将每个时间序列作为variate token，采用多变量相关性的注意力机制，并采用前馈网络进行序列表示。提出了iTransformer，在真实任务上取得了优秀的表现。

2. 相关工作

根据是否修改模型组件和架构，可以将transformer类预测器分为4类。

（1）主要涉及组件适应和优化，但不如线性预测器的性能和效率强。

（2）更注重时间序列的固有处理，例如平稳性、通道独立性和patching

（3）对transformer的组件和架构都进行了修改，从而更好应对多变量独立性和交互性。

（4）对transformer的组件未进行任何修改，只是进行了维度倒置。

3. iTransformer模型结构

iTransformer只采用了transformer的encoder，包含嵌入层、映射层和Transformer块。

iTransformer专注于多元序列的表示学习和多元序列的关联。 $h_{i}$ 表示第i个变量在过去时间内的全部时序变化，即variate token.；每个variate token通过注意力机制进行信息交互；在每个variate token内部进行层归一化统一不同变量的测量单位和特征分布，并通过前馈网络进行全连接式特征编码；最后通过映射层将每个variate token分别映射为预测结果。计算过程如下：

嵌入层和映射层均由多层感知机实现。由于时间点之间的顺序已经隐含在神经元的排列顺序中，模型能够感知时间点的顺序关系，因此不需要引入位置编码。

（1）层归一化

层归一化最初是为了提高深度网络的收敛性和稳定性提出的。在原始transformer中，该模块对同一时间戳的多变量进行标准化，逐渐将变量相互融合，提高了注意力建模词关联的难度。若收集到的数据没有按时间对齐，该操作会在延迟过程中引入噪声。在iTransformer中，该操作被应用于单变量序列中，所有序列都会归一化为高斯分布，因此可以减少由测量引起的差异。而在传统transformer中，所有时间戳的temporal token会被归一化，会导致模型看到的是过平滑的时间序列。