论文阅读：Recurrent Neural Networks for Time Series Forecasting Current Status and Future Directions

---

typora-copy-images-to: ./

Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions

---

Abstract

递归神经网络（RNN）已成为竞争性预测方法，已建立的统计模型（例如ETS和ARIMA）不仅因为其准确性高而广受欢迎，而且由于其健壮，高效且自动的特性，也适合非专业用户。我们得出结论，如果数据集中的序列具有均质的季节性模式，则RNN可以直接对季节进行建模，否则，我们建议您进行反季节化步骤。与ETS和ARIMA的比较表明，已实现的（半）自动RNN模型不是灵丹妙药，但在许多情况下它们是竞争性的选择。

---

Introduction

过去，神经网络 NN的性能不佳有许多可能的原因，其中一个原因是各个时间序列本身通常太短，无法使用复杂的方法进行建模。另一个可能性可能是时间序列的特征随时间而改变，因此即使很长的时间序列也可能无法包含足够的相关数据来适应复杂的模型。因此，为了通过复杂的方法对序列进行建模，必须具有足够的长度以及从相对稳定的系统中生成序列，这一点至关重要。此外，神经网络因其黑盒性质而受到进一步批评。因此，预测从业人员传统上通常选择更直接的统计技术。

时间序列上下文中的大数据并不一定意味着单个时间序列包含大量数据。而是通常意味着来自同一域的许多相关时间序列。在这种情况下，孤立地考虑各个时间序列的单变量预测技术可能无法产生可靠的预测。该领域成功的新发展的其他例子是新颖的架构，例如DeepAR，多分集递归神经网络（MQRNN），样条分位数功能RNN和用于概率预测的深度状态空间模型。

R编程语言中的预测程序包实现了许多与预测有关的统计技术，例如ARIMA，ETS，使用季节性和趋势分解（STL分解）。在单个内聚软件包中。

Tensorflow已使用Python开发了一个软件包，用于使用Tensorflow概率库进行结构时间序列建模。

GluonTS是最近引入的基于Python的开源预测库。

我们的工作还提出了一个标准的软件框架，但侧重于RNN，并得到了文献和实施技术的回顾以及广泛的经验研究的支持。我们对许多最流行的RNN架构进行了严格的经验评估，以在纯公开单变量预测问题的几个公开数据集上进行预测（即没有外生变量）。我们将所涉及的模型的性能与两个最新的统计预测基准进行比较，即来自预测包的ETS和ARIMA模型的实现（Hyndman和Khandakar，2008年）。我们的研究思路是调整RNN，以取代正在使用的全自动单变量基准。

我们首先在第2节中对所有相关概念进行全面的背景研究，包括传统的单变量预测技术和文献中提到的用于预测的不同NN体系结构。第3节详细介绍了所采用的方法，包括实现的RNN体系结构和相应的数据预处理技术。在第4节中，我们用所使用的数据集，培训，验证和测试细节以及所使用的比较基准的说明来解释用于该研究的实验框架。在第5节中，我们对结果进行批判性分析，然后在第6节中给出结论，并在第7节中介绍未来的方向。

---

Background Study

详细介绍了有关单变量预测，传统单变量预测技术，人工神经网络（ANN）以及在使用ANN时利用交叉序列信息的文献。

Univariate （单变量的）Forecasting

纯粹的单变量预测问题是指根据其自身过去的值预测时间序列的未来值。也就是说，只有一个时间相关变量。

F是针对带有变量X的问题而开发的模型所近似的函数。该函数预测从T +1到T + H的未来时间步长的序列值，其中H是预期的预测范围。$ϵ$ 表示与函数逼近F相关的误差。

Traditional Univariate Forecasting Techniques

传统的单变量方法的好处是，当数据量最小时，它们可以很好地工作（Bandara等，2020）。与其他复杂的机器学习技术相比，这些技术中要确定的参数数量非常少。然而，迄今为止引入的这种传统单变量技术缺乏涉及复杂的预测任务的关键要求。由于每个序列都建立一个模型，因此需要频繁的重新训练，这在计算量很大的情况下尤其如此。而且，这些单变量技术并不意味着使用全局模型来开发交叉序列信息，因为它们一次仅考虑单个时间序列中固有的特征和模式。如果单个时间序列足够长且具有许多数据点，从而使模型能够捕获顺序模式，则这不是问题。但是实际上，通常不是这种情况。

Artificial Neural Network

随着数据可用性的不断提高，最近几年，人工神经网络已成为机器学习任务的主导和流行技术。前馈神经网络（FFNN）是ANN的最基本类型。与具有反馈回路的RNN相反，它在神经元之间仅具有前向连接。有许多将人工神经网络用于预测的工作。张等（1998）在他们的论文中提供了对此类工作的全面总结。

首先，人工神经网络可以使用最小先验假设对数据中的任何形式的未知关系进行建模。其次，人工神经网络可以将学习到的关系概括并转移到看不见的数据上。第三，人工神经网络是通用逼近器，这意味着它们能够对数据中任何形式的关系进行建模，尤其是非线性关系（Hornik等，1989）。

确定最佳网络结构和针对给定问题的训练过程对于调整ANN以获得最大准确性至关重要。同样重要的决定是为模型选择输入变量（Zhang and Kline，2007）。

Yan（2012）提出了一种新形式的ANN，称为广义回归神经网络（GRNN），它是径向基函数（RBF）网络的一种特殊形式。它仅需要估计一个设计参数，即决定RBF宽度的扩展因子，并因此确定有多少训练样本对输出有贡献。

Zhang（2003）提出了一种混合预测方法，将ARIMA模型与ANN相结合，从而充分利用了这两种模型的优势。 ARIMA模型用于对时间序列的线性分量进行建模，而ANN随后可以对与非线性部分相对应的残差进行建模。此方法与增强密切相关，通常用作一种集成技术来减少预测中的偏差。

将时间序列数据馈入ANN（特别是FFNN）的最常见方法是将整个序列分解为连续的输入窗口，然后获取FFNN来预测窗口或紧随输入窗口之后的单个数据点。

Recurrent Neural Networks for Forecasting

每个RNN是许多RNN单元的组合。通常用于序列建模任务的最流行的RNN单元是Elman RNN单元，长短期记忆（LSTM）单元和门控循环单元（GRU）。LSTM和GRU在所选数据集中均表现出相似的性能。从本质上讲，很难区分哪种情况在哪种情况下更好。此外，ERNN的性能可与门控RNN单元相媲美，并且训练速度更快。此外，作者指出，基于梯度的RNN单元（ERNN，LSTM，GRU）在训练时间方面相对较慢，这是由于通过时间过程进行的耗时的反向传播所致。、

堆叠体系结构可以说是RNN预测最常用的体系结构。

在神经机器翻译任务中流行的另一种RNN架构是Sutskever等人介绍的Sequence to Sequence（S2S）架构。基于GRU的S2S模型设法在两个数据集中都胜过其他模型。最近，将S2S模型（也称为自动编码器）用于预测以提取时间序列特征，然后再执行另一个步骤以生成实际预测。同样，除了直接预测外，S2S模型还用于实际预测之前的中间特征提取步骤。

由于时间序列具有季节性分量，因此可以在预测上下文中使用如上所述的注意力权重。例如，如果特定的每月时间序列具有每年的季节性，则预测下一个直接月份的值会从上一年的完全相同月份的值中受益更多。这类似于为12个月前的序列值分配更多权重。

基础学习者的多样性越高，最终合奏的准确性就越高。

Leveraging Cross-Series Information利用跨系列信息

不是通过在数据集中每个时间序列开发一个模型，而是通过同时利用来自多个时间序列的信息来开发模型。文献中，这样的模型通常被称为全局模型，而每个系列都建立一个模型的单变量模型被称为局部模型（Januschowski等，2020）。但是，将全局模型应用于一组时间序列并不能表明它们之间在预测方面的相互依赖性。相反，这意味着对于所有可用时间序列，都将对参数进行全局估计（Januschowski等，2020）。

在现代的预测问题中，通常的要求是针对许多可能具有相似模式的时间序列生成预测，而不是仅预测一个时间序列。零售领域的一个常见示例是生成许多类似产品的预测。在这种情况下，与局部方法相比，全局模型可以通过跨系列学习以吸收更多信息来展示其真正的潜力。 Trapero等。（2015年）在他们的工作中使用类似的想法来预测库存单位（SKU）。特别是，对于促销历史有限或没有关联的SKU，通过将多个SKU合并来计算回归模型的系数。但是，所使用的回归模型只能捕获线性关系，并且在每个时间序列中都不会保持任何内部状态。

研究人员已经在深度神经网络的背景下使用了开发全局模型的想法。对于RNN，这意味着权重是全局计算的，但每个时间序列的状态都保持不变。

---

Methodology

Recurrent Neural Network

Recurrent Units

选择以下三种类型的递归单元来构成我们实验中的RNN层。

•Elman循环单元
•门控循环单元
•具有窥孔连接的长短期记忆

基本ERNN细胞的结构