NARX 和 注意力机制相关的论文,这三个论文的模型很像,放一起比较一下
NARX: Nonlinear autoregressive exogenous(NARX)模型是一种基于时间序列以及多重驱动(外生)序列的当前值和过去值进行预测的模型
DA-RNN
原始论文:A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction
转载来源:DARNN:一种新的时间序列预测方法——基于双阶段注意力机制的循环神经网络 来源:知乎
基于seq2seq模型(encoder decoder 模型),并结合注意力机制的一种时间序列预测方法。与传统的注意力机制只用在解码器的输入阶段,即对不同时刻产生不同的context vector不同,该文还在编码器的输入阶段引入了注意力机制,从而同时实现了选取特征因子(feature selection)和把握长期时序依赖关系(long-term temporal dependencies)。
双阶段:第一阶段,使用注意力机制自适应地提取每个时刻的相关feature;第二阶段,使用另一个注意力机制选取与之相关的encoder hidden states。
第一阶段
使用当前时刻的输入,以及上一个时刻编码器的hidden state,来计算当前时刻编码器的hidden state,其中m是编码器的size。更新公式可写为:
对于这个问题,我们可以使用通常的循环神经网络vanilla RNN或LSTM以及GRU作为。但为了自适应地选取相关feature,作者在此处引入了注意力机制。
可以根据上一个时刻编码器的hidden state和cell state计算得到:
其中是hidden state与cell state的连接(concatenation)。我的理解是与类似,只不过少了一个需要训练的参数。 该式即把第个driving series与前一个时刻的hidden state和cell state