论文阅读 2020-7-31 CCFA 2017 A Dual-Stage Attention-Based Recurrent Neural Network

1、摘要
* 文章主体思想： 捕获序列长时间依赖关系，并选择相关输入特征序列进行预测

encoder部分：引入注意力机制，通过参考先前encoder隐藏状态，在每个时间步自适应提取相关输入特征decoder部分：使用时间注意力机制选择相关encoder在全局所有时间步的隐藏状态2、介绍：背景、相关工作
* ARIMA及其变体、核方法、高斯过程：无法对非线性概念性进行建模，也无法区分外来输入项
* RNN为代表的NARX（非线性自回归模型），难以解决梯度消失和长时间依赖问题
* 以attention机制为基础的RNN新型变种

3、实验：
* 1、预测精准度
* 2、Input Attention部分可解释性：由原先的8个input features，通过随机排序产生8个，将16个dirving series输入 得到了162个注意力权重，前81个对应原文输入，后81个是随机噪声，从分配权重大小判断出Dual-Stage的可解释性
*3、 引入注意力机制后将原本在机器翻译领域Attention-RNN(2014年)的输出由一系列的概率分布值，改成仅一个标量
对比算法如下：ARIMA、NARX、Encoder-Decoder、Attention RNN、Input attn RNN、
* 4、评价指标：RMSE、MAE、MAPE