CNN做时间序列预测_多元时间序列预测的时间模式注意

多元时间序列预测的时间模式注意

题目：

Temporal Pattern Attention for Multivariate Time Series Forecasting

作者：

Shun-Yao Shih, Fan-Keng Sun, Hung-yi Lee

来源：

Machine Learning (cs.LG)

Submitted on 12 Sep 2018 (v1), last revised 27 Nov 2018 (this version, v2)

Submitted to the journal track of ECML PKDD 2019

文档链接：

arXiv:1809.04206

代码链接：

https://github.com/gantheory/TPA-LSTM

https://github.com/abinashsinha330/Air-Pollution-Forecasting-using-Machine-Learning-APF-Model

https://github.com/abinashsinha330/Air-Pollution-Forecasting-using-Recurrent-Neural-Networks

摘要

预测多变量时间序列数据，例如电力消耗预测，太阳能发电和复音钢琴件，具有许多有价值的应用。但是，时间步骤和序列之间的复杂和非线性相互依赖性使任务复杂化。为了获得准确的预测，对时间序列数据中的长期依赖性进行建模是至关重要的，这可以通过具有注意机制的递归神经网络（RNN）在一定程度上实现。典型的注意机制在每个先前时间步骤检查信息并选择相关信息以帮助生成输出，但是它无法捕获跨多个时间步骤的时间模式。在本文中，我们建议使用一组滤波器来提取时不变的时间模式，这类似于将时间序列数据转换为其“频域”。然后我们提出了一种新的注意机制来选择相关的时间序列，并使用其“频域”信息进行预测。我们将所提出的模型应用于几个现实世界的任务，并在所有这些任务中实现了最先进的性能，只有一个例外。

英文原文

Forecasting multivariate time series data, such as prediction of electricity consumption, solar power production, and polyphonic piano pieces, has numerous valuable applications. However, complex and non-linear interdependencies between time steps and series complicate the task. To obtain accurate prediction, it is crucial to model long-term dependency in time series data, which can be achieved to some good extent by recurrent neural network (RNN) with attention mechanism. Typical attention mechanism reviews the information at each previous time step and selects the relevant information to help generate the outputs, but it fails to capture the temporal patterns across multiple time steps. In this paper, we propose to use a set of filters to extract time-invariant temporal patterns, which is similar to transforming time series data into its "frequency domain". Then we proposed a novel attention mechanism to select relevant time series, and use its "frequency domain" information for forecasting. We applied the proposed model on several real-world tasks and achieved state-of-the-art performance in all of them with only one exception.

要点

在本文中，我们提出了一种新的MTS预测注意机制——时间模式注意，我们使用时间模式这个术语来指代跨多个时间步骤的任何时不变模式。典型的注意机制识别出与预测相关的时间步长，并从这些时间步长中提取信息，这对MTS预测具有明显的局限性。考虑图1中的示例。要预测汽油的价值，机器必须学会专注于原油而忽略木材。在时间模式注意中，机器学习选择相关的时间序列，而不是像典型的注意机制那样选择相关的时间步骤。

本文的主要贡献总结如下:

1.我们引入了一个新的注意概念，在这个概念中，我们选择了相关的变量，而不是相关的时间步骤。该方法简单、通用，适用于RNN。

2.我们使用玩具例子来验证我们的注意机制使模型能够提取时间模式，并针对不同的时间序列关注不同的时间步骤。

3.从周期和部分线性到非周期和非线性任务的真实数据的实验结果证明，我们提出的注意机制在多个数据集上实现了最先进的结果。

4.我们的注意力机制中的习得CNN过滤器展示了有趣且可解释的行为。

图1原油、汽油和木材的历史价格。为了简单起见，省略了单位，并对尺度进行了标准化。

图2提出了注意机制

结论

本文以MTS预测为研究重点，提出了一种新的时间模式注意机制，消除了典型注意机制对这类任务的限制。我们允许注意维度具有特征，以便模型不仅在同一时间步内，而且在所有以前的时间和系列中学习多个变量之间的相互依赖关系。我们在玩具实例和真实数据集上的实验强烈支持这一观点，并表明所提出的模型达到了最先进的结果。此外，过滤器的可视化也以一种更容易理解的方式验证了我们的动机。