【时序预测】-Transformer系列

Transformer 2017 NIPS

重点：Attention Is All You Need

核心：Attention Is All You Need

Informer 2021 AAAI（Best Paper）

重点：Transformer + Sparse attention （稀疏）

核心：Sparse attention(ProbSparse attention)结构：只让key和关键的query进行稀疏的attention减少大量计算量，效率优化

Autoformer 2021 NIPS （清华大学机器学习团队）

重点：Transformer + 趋势季节分解（基于自相关）

核心：Series Decomposition 模块 + 多头注意力升级的Auto-Correlation Mechanism。

FEDformer 2022 ICML（阿里达摩院）

重点：Transformer + 趋势季节分解（基于频域）

核心：与Autoformer类似，在拆分趋势线和季节项的基础上，FEDformer使用傅里叶变换以及小波变换去加速attention模块。

Pyraformer 2022 Oral （蚂蚁）

重点：Transformer + Pyramidal Attention （金字塔）

核心：Pyramidal Attention，金字塔注意力机制，尺度间连边用于从原始序列中构建多分辨率特征，尺度内连边捕获在同一尺度下的相邻节点之间之前的依赖关系。

PatchTST 2023 ICLR（普林斯顿大学）

重点：Transformer + Patch（源于计算机视觉Vision Transformer）

核心：长时间序列分解为Patch进行建模，每个patch序列被单独映射到独立的embedding进行建模，而不是将多个变量融合到一个embedding建模。

D-Linear* 2023 AAAI

（*表示非Transformer类模型）

重点：质疑Transformers的预测实用性

核心：Transformers的时序性较差，且embedding忽略变量间物理关联，而D-Linear(Decomposition-Linear)，用于处理具有趋势和季节性模式的数据能够获得同样好的结果。

CrossFormer 2023

重点：Transformer + Patch + Two-Stage Attention

核心：窗口划分分多个patch（类似patch-embdedding），第一阶段在时间维度进行attention，第二阶段在变量维度进行attention。（patch纬度）

iTransformer 2023 （清华大学机器学习团队）

重点：Transformer + inverted

核心：Temporal Token Embedding -> Variable Embedding，捕获各通道时间序列内全局信息的能力，具有变量间相关性。