用深度神经网络对长短时间模型建模
提出了两个模型LSTNet-S 和 LSTNet-A
模型包含两个部分:分别是非线性变化部分和线性变化部分
线性部分使用AR模型解决神经网络模型的规模不敏感问题
1、摘要
- 文章主题思想:
- LSTNet 使用卷积神经网络和循环神经网络来提取短期局部变量之间的依赖、发掘长期时序趋势
- 为了进一步提高鲁棒性,集成了AR 自回归线性模型,与非线性神经网络部分并行
2、介绍:背景、相关工作
- ARIMA(AR、MA、ARMA)
- VAR
- SVR
- Ridge regression
- Gaussian Processes
3、模型架构:
- CNN
- 局部变量之间的依赖关系
- RNN
- 发掘长期时序趋势
- 自回归分量
- 神经网络输出的规模对输入的规模不敏感
- 所以引入AR使得最终输出是线性与非线性的组合
- 最终输出
- 使用 dense layer 即全连接层来连接两个自注意力层模块,获得其基础预测结果
2020-8-21 CCFB Temporal pattern attention for multivariate time series forecasting
这篇文章是上述文章的改进,主要是提出了更加新颖的注意力机制,但是文章晦涩,在数据集上进行创新
且可以让模型自主选择合适的周期模式,具有更好的适应性