【论文阅读】DA-RNN ＆ GeoMAN ＆ DSTP-RNN

最新推荐文章于 2024-04-18 19:57:50 发布

weiwanshu

最新推荐文章于 2024-04-18 19:57:50 发布

阅读量4.9k

点赞数 2

分类专栏：注意力机制神经网络相关

本文链接：https://blog.csdn.net/weiwanshu/article/details/89575606

版权

本文对比分析了DA-RNN、GeoMAN和DSTP-RNN三篇论文，重点探讨了它们在时间序列预测中的应用。DA-RNN采用双阶段注意力机制，GeoMAN利用多级注意力网络处理地理传感数据，DSTP-RNN则关注解码器中的时间序列注意力。三者均结合了注意力机制和循环神经网络，以提高预测准确性。

摘要由CSDN通过智能技术生成

NARX 和注意力机制相关的论文，这三个论文的模型很像，放一起比较一下

NARX： Nonlinear autoregressive exogenous(NARX)模型是一种基于时间序列以及多重驱动(外生)序列的当前值和过去值进行预测的模型

DA-RNN

原始论文：A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction

转载来源：DARNN:一种新的时间序列预测方法——基于双阶段注意力机制的循环神经网络来源：知乎

基于seq2seq模型(encoder decoder 模型)，并结合注意力机制的一种时间序列预测方法。与传统的注意力机制只用在解码器的输入阶段，即对不同时刻产生不同的context vector不同，该文还在编码器的输入阶段引入了注意力机制，从而同时实现了选取特征因子(feature selection)和把握长期时序依赖关系(long-term temporal dependencies)。

双阶段：第一阶段，使用注意力机制自适应地提取每个时刻的相关feature；第二阶段，使用另一个注意力机制选取与之相关的encoder hidden states。

第一阶段

使用当前时刻的输入 $\boldsymbol{x}_t \in \mathbb{R}^n$ ，以及上一个时刻编码器的hidden state $\boldsymbol{{h}_{t-1}}$ ，来计算当前时刻编码器的hidden state $\boldsymbol{h}_t \in \mathbb{R}^m$ ，其中m是编码器的size。更新公式可写为：

$h_t=f_1(h_{t-1},\boldsymbol{x}_t)$ 对于这个问题，我们可以使用通常的循环神经网络vanilla RNN或LSTM以及GRU作为 $f_1$ 。但为了自适应地选取相关feature，作者在此处引入了注意力机制。

可以根据上一个时刻编码器的hidden state $\boldsymbol{h_{t-1}}$ 和cell state $\boldsymbol{s_{t-1}}$ 计算得到：

$e_t^k=\boldsymbol{v}_e^T \tanh(\boldsymbol{W}_e[\boldsymbol{h}_{t-1};\boldsymbol{s}_{t-1}]+\boldsymbol{U}_e \boldsymbol{x}^k)$

其中 $[\boldsymbol{h}_{t-1};\boldsymbol{s}_{t-1}]$ 是hidden state $\boldsymbol{h}_{t-1}$ 与cell state $\boldsymbol{s}_{t-1}$ 的连接(concatenation)。我的理解是 $\boldsymbol{W}_e[\boldsymbol{h}_{t-1};\boldsymbol{s}_{t-1}]$ 与