Attention-Based SeriesNet论文读后感

前提—SeriesNet

SeriesNet是包含LSTM和DC-CNN两个子网络的混合神经网络，能有效解决非线性、非稳态、以及未知依赖的时间序列的预测问题。但是，其有以下缺点：

• 每一层需要训练的参数量非常大，导致计算效率低
• 没有考虑学习时间特征的attention机制
• CNN和RNN的conditioning方法并不具体

由此，提出了Attention-Based Seriesnet模型。

Attention-Based SeriesNet

Attention-Based SeriesNet 在SeriesNet的基础上主要有以下改变：

• 分别使用GRU, DDSTCNS(dilated depthwise separable temporal convolution)替代 LSTM, DC-CNN，降低神经网络层的参数
• 利用SeriesNet的注意力机制，在 lightweight RNN-based hidden state attention module(HASM) 和 CNN-based conolutional block module(CBAM)
• 在残差连接块中使用SELU激活函数替代RELU激活函数

优点：

• 减少了参数量，减小计算复杂度，增加模型训练效率
• 提升了模型预测准确率

模型结构

RNN子网络Condition输入数据（$y\in R^{i\ast T}$）维度的转换过程：
使用GRU网络：
\quad Condition->Fltten：$y\in R^{i\ast T}$ -> $y\in R^{1\ast v}$
\quad Flatten->FC：$y\in R^{1\ast v}$ -> $y\in R^{1\ast m}$
使用LSTM网络：
\quad Condition->Fltten：$y\in R^{i\ast T}$ -> $y\in R^{1\ast v}$
\quad