时间序列预测 | Pytorch实现Transformer模型时间序列预测

时间序列预测 | Pytorch实现Transformer模型时间序列预测

基本介绍

Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。这篇文章的主要是通过Pytorch框架搭建一个基于Transformer的预测模型。

• 具体地，我们用到了上证指数的收盘价数据为例，进行预测t+1时刻的收盘价。需要注意的是，本文只是通过这样一个简单的基本模型，带大家梳理一下数据预处理，模型构建以及模型评估的流程。
• 模型还有很多可以改进的地方，例如选择更有意义的特征，如何进行有效的多步预测等。

环境配置

• 本地环境：

Python 3.7
IDE:Pycharm

• 库版本：

numpy