阅读--2020-7-31 CCFA 2017 A Dual-Stage Attention-Based Recurrent Neural Network

基于双阶段注意力的递归神经网络用于时间序列预测 DA-RNN

1、摘要

• 文章主体思想： 捕获序列长时间依赖关系，并选择相关输入特征序列进行预测

encoder部分：引入注意力机制，通过参考先前encoder隐藏状态，在每个时间步自适应提取相关输入特征

decoder部分：使用时间注意力机制选择相关encoder在全局所有时间步的隐藏状态

 

2、介绍：背景、相关工作

• ARIMA及其变体、核方法、高斯过程：无法对非线性概念性进行建模，也无法区分外来输入项
• RNN为代表的NARX（非线性自回归模型），难以解决梯度消失和长时间依赖问题
• 以attention机制为基础的RNN新型变种

 

3、实验： 数据可获取为公开数据集

• 1、预测精准度
• 2、Input Attention部分可解释性：由原先的8个input features，通过随机排序产生8个，将16个dirving series输入

        得到了162个注意力权重，前81个对应原文输入，后81个是随机噪声，从分配权重大小判断出Dual-Stage的可解释性

• 3、引入注意力机制后将原本在机器翻译领域Attention-RNN(2014年)的输出由一系列的概率分布值，改成仅一个标量

            对比算法如下：ARIMA、NARX、Encoder-Decoder、Attention RNN、Input attn RNN、

• 4、评价指标：RMSE、MAE、MAPE

 

 

 

 

4、之后的研究点

5、相关知识

6、与我相关