基于深度学习的时间序列预测方法

之前对时间序列预测的方法大致梳理了一下，最近系统的学习了深度学习，同时也阅读了一些处理序列数据的文献，发现对于基于深度学习的时间序列预测的方法，还可以做进一步细分：RNN、Attention和TCN。

---

1 简介

  传统的时间序列预测方法如ARIMA模型和Holt-Winters季节性方法具有理论上的保证，但它们主要适用于单变量预测问题，并且要求时间序列是平稳的，这大大限制了它们在现实世界复杂时间序列数据中的应用。

  在文献中，用于时间序列建模的深度神经网络主要有三种，它们都应用于时间序列预测：① 基于循环神经网络RNN，如长短期记忆LSTM和门控递归单元GRU；② 基于注意力机制Attention，如Transformer和Informer；③ 基于时间卷积网络TCN，如WaveNet和SCINet。总的来说，在这些模型中，TCN对时间序列数据的建模更为有效和高效。此外，它还可以与图神经网络GNN相结合来解决各种时空的序列预测问题。

2 循环神经网络

2.1 RNN

  MLP是一个静态网络，信息的传递是单向的，网络的输出只依赖于当前的输入，不具备记忆能力。而RNN通过引入状态变量存储过去的信息和当前的输入，使得网络的输出不仅和当前的输入有关，还和上一时刻的输出相关，于是在处理时序数据时，就具有短期记忆能力。

图1 RNN

2.2 LSTM

  长期以来，RNN存在着长期信息保存和短期输入缺失的问题。 解决这一问题的最早方法之一是长短期记忆网络（long short-term memory，LSTM）。

  长短期记忆网络的设计灵感来自于计算机的逻辑门。长短期记忆网络引入了记忆单元，或简称为单元。有些文献认为记忆单元是隐状态的一种特殊类型，它们与隐状态具有相同的形状，其设计目的是用于记录附加的信息。为了控制记忆元，需要许多门。其中一个门用来从单元中输出条目，将其称为输出门。另外一个门用来决定何时将数据读入单元，将其称为输入门。另外，还需要一种机制来重置单元的内容，由遗忘门来管理，这种设计能够通过专用机制决定什么时候记忆或忽略隐状态中的输入。

图2 LSTM

2.3 GRU

  门控循环单元（gated recurrent unit，GRU）是一个比LSTM稍微简化的变体，通常能够