如何搭建适合时间序列预测的Transformer模型？

微信公众号“圆圆的算法笔记”，持续更新NLP、CV、搜推广干货笔记和业内前沿工作解读~

后台回复“交流”加入“圆圆的算法笔记”交流群；回复“时间序列“、”多模态“、”迁移学习“、”NLP“、”图学习“等获取各个领域干货算法笔记~

今天又是一篇Transformer梳理文章，这次应用场景是时间序列预测。Transformer的序列建模能力，让其天然就比较适合时间序列这种也是序列类型的数据结构。但是，时间序列和文本序列也有很多特点，例如时间序列具有自相关性或周期性、时间序列的预测经常涉及到周期非常长的序列预测任务等。这些都给Transformer在时间序列预测场景中的应用带来了新的挑战，也使业内出现了一批针对时间序列任务的Transformer改造。下面就给大家介绍7篇Transformer在时间序列预测中的应用。

其他Transformer相关文章推荐：

图学习？Transformer：我也行！

从ViT到Swin，10篇顶会论文看Transformer在CV领域的发展历程

Transformer提效之路干货笔记——一文梳理各种魔改版本Transformer

1. Autoformer

论文题目：Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting（NIPS 2021）

下载地址：https://arxiv.org/pdf/2106.13008.pdf

Autoformer是Transformer的升级版本，针对时间序列问题的特性对原始Transformer进行了一系列优化。模型的整体结构如下图，核心是Series Decomposition Block模块和对多头注意力机制的升级Auto-Correlation Mechanism。下面给大家简单介绍一下Auroformer的各个模块。

第一个模块是Series Decomposition Block，这个模块主要目的是将时间序列分解成趋势项和季节项。在最基础的时间序列分析领域，一个时间序列可以被视为趋势项、季节项、周期项和噪声。对于这4个因素的拆解，有加法模型、乘法模型等，其中加法模型认为这4个因素相加构成了当前时间序列。本文采用了加法模型，认为时间序列由趋势项+季节项构成。为了提取出季节项，本文采用了滑动平均法，通过在原始输入时间序列上每个窗口计算平均值，得到每个窗口的趋势项，进而得到整个序列的趋势项。同时，根据加法模型，将原始输入序列减去趋势项，即可得到季节项。整个Series Decomposition Block的公式可以表示为：

模型的输入结合Series Decomposition Block模块。Encoder部分输入历史时间序列，Decoder部分的输入包括趋势项和季节项两个部分。趋势项由两部分组成，一部分是历史序列经过Series Decomposition Blo