elman神经网络_基于递归神经网络的时间序列预测：现状与未来发展方向

最新推荐文章于 2023-02-16 23:43:17 发布

weixin_39614546

最新推荐文章于 2023-02-16 23:43:17 发布

阅读量522

点赞数

文章标签： elman神经网络 elman神经网络 python实现

基于递归神经网络的时间序列预测:现状与未来发展方向

题目：

Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions

作者：

Hansika Hewamalage, Christoph Bergmeir, Kasun Bandara

来源：

Machine Learning (cs.LG)

Neural and Evolutionary Computing (cs.NE)

(Submitted on 2 Sep 2019 (v1), last revised 24 Sep 2019 (this version, v3))

文档链接：

arXiv:1909.00590

代码链接：

https://github.com/HansikaPH/time-series-forecasting

摘要

递归神经网络(RNN)已成为具有竞争力的预测方法，最明显的例子是最近的M4竞赛的获胜方法。然而，诸如ETS和ARIMA等已建立的统计模型不仅因为其高准确性而受到欢迎，而且由于其健壮、高效和自动化，也适合于非专业用户。在这些领域，RNNs还有很长的路要走。我们提出了一个广泛的实证研究和一个现有的预测RNN架构的开源软件框架，这使我们能够为它们的使用制定指导方针和最佳实践。例如，我们得出结论，如果数据集中的序列具有同质的季节模式，则RNNs能够直接对季节性进行建模，否则我们建议采用去季节性化步骤。与ETS和ARIMA的比较表明，实现的(半)自动RNN模型不是万能的，但在许多情况下，它们是有竞争力的替代方案。

英文原文

Recurrent Neural Networks (RNN) have become competitive forecasting methods, as most notably shown in the winning method of the recent M4 competition. However, established statistical models such as ETS and ARIMA gain their popularity not only from their high accuracy, but they are also suitable for non-expert users as they are robust, efficient, and automatic. In these areas, RNNs have still a long way to go. We present an extensive empirical study and an open-source software framework of existing RNN architectures for forecasting, that allow us to develop guidelines and best practices for their use. For example, we conclude that RNNs are capable of modelling seasonality directly if the series in the dataset possess homogeneous seasonal patterns, otherwise we recommend a deseasonalization step. Comparisons against ETS and ARIMA demonstrate that the implemented (semi-)automatic RNN models are no silver bullets, but they are competitive alternatives in many situations.

要点

第一章介绍

介绍了传统NN不被广泛应用的原因，缺点。

介绍了RNN在各领域的应用，效果良好。

介绍了传统的统计模型ARIMA等。

许多使用传统单变量技术的用户将不具备开发和适应复杂RNN模型的专业知识。他们将希望应用有竞争力的、易于使用的模型，这些模型可以替代他们目前在生产中使用的单变量模型。因此，尽管最近RNNs在预测方面取得了成功，但由于他们可能没有足够的专业知识来充分利用RNNs并达到令人满意的准确性，他们可能仍然不愿意尝试使用RNNs作为替代方法。这也与最近预测界出现的争论直接相关，争论的焦点是“现成的”深度学习技术是否能够超越经典的基准测试。

此外。除了上述关于短孤立序列和大时间序列数据库的直觉之外，对于传统的统计方法何时会优于RNNs、应该使用哪种特定的RNN体系结构以及如何调整它们的参数以适应实际的预测环境，还没有既定的指导方针。尽管来自M4预测比赛的结果已经清楚地显示了RNNs的潜力，但仍然不清楚如果没有在竞争环境中广泛的专家投入，RNNs在自动化标准方法的实践中如何具有竞争力。因此，很明显，预测社区将受益于标准的软件实现，以及对传统的、不同的RNN体系结构的性能的指导和广泛的实验比较。

我们的工作还提出了一个标准的软件框架，但主要关注于RNNs，并通过对文献和实现技术的回顾以及广泛的实证研究提供了支持。我们的研究主要有四个方面的贡献。首先，我们对相关文献进行了系统的综述和分类。其次，我们对一些最流行的RNN架构进行了严格的经验评估，用于对纯单变量的几个公开数据集进行预测。实现的模型是标准的RNN体系结构，具有足够的预处理，没有考虑特殊和复杂的网络类型。第三，在实验的基础上，我们提出结论，作为最佳实践指南，以调整网络的一般。这些方法是通用的，因为它们不绑定到任何特定的领域。

第二章研究背景

1.单变量预测定义

2.传统的单变量预测技术

3.人工神经网络模型

3.1 基于循环神经网络模型的预测研究综述

第三章方法

循环神经网路的模型介绍1990年Elman提出Elman循环单元。

1997年Hochreiter 和Schmidhuber提出循环神经网络单元(LSTM)。

2014年Cho提出门循环单元。

第四章实验

使用了开源的深度学习框架tensorflow.

使用了如下数据集进预测工作：

*CIF 2016 Forecasting Competition Dataset

*NN5 Forecasting Competition Dataset

*M3 Forecasting Competition Dataset

*M4 Forecasting Competition Dataset

*Wikipedia Web Trac Time Series Forecasting Competition Dataset

*Tourism Forecasting Competition Dataset

数据预处理工作包括分割训练集、测试集、验证集，空值处理工作，使用季节趋势分解技术完成Variance stabilization工作，趋势标准化，均值标准化。

模型的评价指标使用的是MASE(平均绝对误差)

实验结果如下表所示

表6:关于所有数据集的平均SMAPE的季节性建模统计测试的平均排名和结果。

图18 展示了不同数据集的季节模式

第六章结论

从我们的实验中，我们得出结论，堆叠的架构与具有窥视孔连接的LSTM单元和COCOB优化器相结合，以移动窗口格式提供不稳定的数据，可以成为跨多个数据集的竞争模型。我们进一步得出结论，当数据集中的所有序列都遵循同质的季节模式，并且所有序列都覆盖了相同的持续时间和足够的长度时，RNNs就能够捕获季节性，而无需事先进行去季节性化。否则，RNNs自身的建模季节性较弱，应采用去量化的方法。

对于SMAC算法的初始超参数范围，我们的过程是(半)自动的，除了根据每个数据集的大小选择的minibatch大小之外，我们在所有数据集中选择大致相同的范围。因此，尽管RNNs的拟合仍然没有最先进的单变量预测基准ets和auto那么直接和自动。华宇电脑。我们的论文和我们发布的代码框架是这个方向上的重要步骤。我们最后得出结论，RNNs现在是一个很好的选择，预测从业人员获得可靠的预测，哪些车优于基准。