1、摘要
* 文章主体思想: 捕获序列长时间依赖关系,并选择相关输入特征序列进行预测
encoder部分:引入注意力机制,通过参考先前encoder隐藏状态,在每个时间步自适应提取相关输入特征decoder部分:使用时间注意力机制选择相关encoder在全局所有时间步的隐藏状态2、介绍:背景、相关工作
* ARIMA及其变体、核方法、高斯过程:无法对非线性概念性进行建模,也无法区分外来输入项
* RNN为代表的NARX(非线性自回归模型),难以解决梯度消失和长时间依赖问题
* 以attention机制为基础的RNN新型变种
3、实验:
* 1、预测精准度
* 2、Input Attention部分可解释性:由原先的8个input features,通过随机排序产生8个,将16个dirving series输入 得到了162个注意力权重,前81个对应原文输入,后81个是随机噪声,从分配权重大小判断出Dual-Stage的可解释性
*3、 引入注意力机制后将原本在机器翻译领域Attention-RNN(2014年)的输出由一系列的概率分布值,改成仅一个标量
对比算法如下:ARIMA、NARX、Encoder-Decoder、Attention RNN、Input attn RNN、
* 4、评价指标:RMSE、MAE、MAPE