前提—SeriesNet
SeriesNet是包含LSTM和DC-CNN两个子网络的混合神经网络,能有效解决非线性、非稳态、以及未知依赖的时间序列的预测问题。但是,其有以下缺点:
- 每一层需要训练的参数量非常大,导致计算效率低
- 没有考虑学习时间特征的attention机制
- CNN和RNN的conditioning方法并不具体
由此,提出了Attention-Based Seriesnet模型。
Attention-Based SeriesNet
Attention-Based SeriesNet 在SeriesNet的基础上主要有以下改变:
- 分别使用GRU, DDSTCNS(dilated depthwise separable temporal convolution)替代 LSTM, DC-CNN,降低神经网络层的参数
- 利用SeriesNet的注意力机制,在 lightweight RNN-based hidden state attention module(HASM) 和 CNN-based conolutional block module(CBAM)
- 在残差连接块中使用SELU激活函数替代RELU激活函数
优点:
- 减少了参数量,减小计算复杂度,增加模型训练效率
- 提升了模型预测准确率
模型结构
RNN子网络Condition输入数据( y ∈ R i ∗ T y \in R^{i*T} y∈Ri∗T)维度的转换过程:
使用GRU网络:
\quad Condition->Fltten: y ∈ R i ∗ T y \in R^{i*T} y∈Ri∗T -> y ∈ R 1 ∗ v y \in R^{1*v} y∈R1∗v
\quad Flatten->FC: y ∈ R 1 ∗ v y \in R^{1*v} y∈R1∗v -> y ∈ R 1 ∗ m y \in R^{1*m} y∈R1∗m
使用LSTM网络:
\quad Condition->Fltten: y ∈ R i ∗ T y \in R^{i*T} y∈Ri∗T -> y ∈ R 1 ∗ v y \in R^{1*v} y∈R1∗v
\quad </