加州大学提出对偶注意力RNN用于时间序列预估

A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction

Yao Qin, Dongjin Song, Haifeng Cheng, Wei Cheng, Guofei Jiang, Garrison W. Cottrell

University of California, NEC Laboratories

https://www.ijcai.org/Proceedings/2017/0366.pdf

非线性自回归模型（NARX），基于先前的数据和当前以及历史数据的多轮衍生序列数据来预测时间序列的当前值，学者们已经研究了数十年。

尽管学者们提出了很多非线性自回归模型，很少有能够近似捕捉长期依赖，并且从中选取相关传动序列来做出预测。这篇文章提出一种对偶阶基于注意力的循环神经网络（DA-RNN）来解决这两个问题。

第一阶段，每一步通过参考先前的编码隐含状态引入一种输入注意力机制，用于自适应提取相关的传动序列。第二阶段，贯穿所有步长，利用时间注意力机制来选择相关的编码隐含状态。

通过这种对偶阶段注意力机制，模型不仅能够比较高效地预测，而且比较容易解释。

基于SML 2010数据集和NASDAQ 100 股票数据集，实验结果表明，在时间序列预测中，DA-RNN效果优于STOA方法。

时间序列预测的问题描述如下

传统的RNN可以用于时间序列预测，但是这种方法具有一定的局限性

符号约定及问题描述如下

作者们所提模型结构图示如下

lstm简介以及优势如下