基于双阶段注意力的递归神经网络用于时间序列预测 DA-RNN
1、摘要
- 文章主体思想: 捕获序列长时间依赖关系,并选择相关输入特征序列进行预测
encoder部分:引入注意力机制,通过参考先前encoder隐藏状态,在每个时间步自适应提取相关输入特征
decoder部分:使用时间注意力机制选择相关encoder在全局所有时间步的隐藏状态
2、介绍:背景、相关工作
- ARIMA及其变体、核方法、高斯过程:无法对非线性概念性进行建模,也无法区分外来输入项
- RNN为代表的NARX(非线性自回归模型),难以解决梯度消失和长时间依赖问题
- 以attention机制为基础的RNN新型变种
3、实验: 数据可获取为公开数据集
- 1、预测精准度
- 2、Input Attention部分可解释性:由原先的8个input features,通过随机排序产生8个,将16个dirving series输入
得到了162个注意力权重,前81个对应原文输入,后81个是随机噪声,从分配权重大小判断出Dual-Stage的可解释性
- 3、引入注意力机制后将原本在机器翻译领域Attention-RNN(2014年)的输出由一系列的概率分布值,改成仅一个标量
对比算法如下:ARIMA、NARX、Encoder-Decoder、Attention RNN、Input attn RNN、
- 4、评价指标:RMSE、MAE、MAPE
4、之后的研究点
5、相关知识
6、与我相关