基于LSTM与Transfomer的股票预测模型

基于LSTM与Transfomer的股票预测模型

1 项目介绍

股票行情是引导交易市场变化的一大重要因素，若能够掌握股票行情的走势，则对于个人和企业的投资都有巨大的帮助。然而，股票走势会受到多方因素的影响，因此难以从影响因素入手定量地进行衡量。但如今，借助于机器学习，可以通过搭建网络，学习一定规模的股票数据，通过网络训练，获取一个能够较为准确地预测股票行情的模型，很大程度地帮助我们掌握股票的走势。本项目便搭建了**LSTM（长短期记忆网络）**成功地预测了股票的走势。

首先在数据集方面，我们选择上证000001号，中国平安股票（编号SZ_000001)数据集采用2016.01.01-2019.12.31股票数据，数据内容包括当天日期，开盘价，收盘价，最高价，最低价，交易量，换手率。数据集按照0.1比例分割产生测试集。训练过程以第T-99到T天数据作为训练输入，预测第T+1天该股票开盘价。(此处特别感谢Tushare提供的股票日数据集，欢迎大家多多支持)

在训练模型及结果方面，我们首先采用了LSTM（长短期记忆网络），它相比传统的神经网络能够保持上下文信息，更有利于股票预测模型基于原先的行情，预测未来的行情。LSTM网络帮助我们得到了很好的拟合结果，loss很快趋于0。之后，我们又采用比LSTM模型更新提出的Transformer Encoder部分进行测试。但发现，结果并没有LSTM优越，曲线拟合的误差较大，并且loss的下降较慢。因此本项目，重点介绍LSTM模型预测股票行情的实现思路。

2 LSTM模型原理

2.1 时间序列模型

时间序列模型：时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。这是一类相对比较复杂的预测建模问题，和回归分析模型的预测不同，时间序列模型是依赖于事件发生的先后顺序的，同样大小的值改变顺序后输入模型产生的结果是不同的。

2.1 从RNN到LSTM

RNN：递归神经网络RNN每一次隐含层的计算结果都与当前输入以及上一次的隐含层结果相关。通过这种方法，RNN的计算结果便具备了记忆之前几次结果的特点。其中，ｘ为输入层，ｏ为输出层，s为隐含层，而t指第几次的计算，V,W,U为权重，第ｔ次隐含层状态如下公式所示：
$$St=f(U\ast Xt+W\ast St-1)（\mathrm{１}）$$

可见，通过RNN模型想要当前隐含层状态与前ｎ次相关，需要增大计算量，复杂度呈指数级增长。然而采用LSTM网络可解决这一问题。

LSTM（长短期记忆网络）：

LSTM是一种特殊的RNN，它主要是Eileen解决长序列训练过程中的梯度消失和梯度爆炸问题。相比RNN，LSTM更能够在长的序列中又更好的表现。

LSTM拥有两个传输状态： $c^t$在 （cell state）， $h^t$（hidden state），其中 c t c^{t}