[IJCAI 2017]A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction

                                A Dual-Stage Attention-Based

             Recurrent Neural Network for Time Series Prediction

       论文提出了基于注意力机制的两阶段循环神经网络（DA-RNN），在第一阶段（encoder），引入input attention mechanism对每一时刻的外部输入自适应性地提取相关性；在第二阶段（decoder），引入temporal attention mechanism捕获encoder的长期时序依赖信息。

---

任务

       时间序列预测，给定1~T-1时刻的目标序列以及1~T-1时刻的外部序列，预测T时刻的目标值。

模型结构

          

encoder

       1.使用LSTM作为encoder和decoder，其中状态更新如下：

                                         

       2.引入input attention mechanism：对每一时刻Xt的n维变量使用attention

                                             

 

       3.使用(α^t)t对Xt加权求和，更新Xt：

                                                       

       4.使用(Xt)~更新1中的状态方程：

                                                               

decoder

        1.引入temporal attention mechanism：在decoder的第t时刻，对encoder所有隐藏层状态做attention

                                              

        2.计算t时刻的上下文向量ct：

                                                               

        3.利用ctct更新目标序列的输入值y(t−1)为y(t−1)~：

                                                           

        4.更新第t时刻decoder的隐藏层状态dt：

                                                               

         其中f2的更新状态方程如encoder-1：

                                                         

                                      

        则第t时刻的预测值(Tt)^为：

                                                      

实验

        作者在两个数据集上和ARIMA，NARX RNN，Encoder-Decoder，Attention RNN模型进行了比较，均获得了最好的结果。