2023/10/29周报

摘要

本周阅读了一篇基于LSTM的股票预测模型的文章，对比基本分析法、技术分析法、演化分析法等旧方法，使用LSTM预测短期股票价格波动的正确率达到72%。之后继续学习了分类任务以及常用的训练模型和方法。生成模型适用于训练集数据较少的情形，并非完全落后于逻辑回归。

Abstract

This week, an article on stock forecasting model based on LSTM is readed. Comparing with the old methods such as basic analysis, technical analysis and evolution analysis, the correct rate of using LSTM to predict short-term stock price fluctuations is 72%. After that, continuing to learn classification tasks and frequently-used training models and methods. The generation model is suitable for the case of less training set data, and does not completely lag behind the logistic regression.

文献阅读

题目

Stock Transaction Prediction Modeling and Analysis Based on LSTM

引言

股票价格波动是一个高度复杂的非线性动态系统，容易受到政治形态、金融政策、公司状况、重大新闻等多种因素的影响。从研究范式的特点和视角来看，股票投资的分析方法主要有三种：基本分析法、技术分析法、演化分析法。股票价格的分析和预测准确率并不高。
神经网络由于其非线性映射能力、良好的自学习和自适应性能，在股票价格、金融收益、汇率风险等分析和预测领域得到了广泛的应用。LSTM神经网络是一种特殊的递归网络。LSTM可以保留错误，为反向传递沿着时间和层。LSTM将误差保持在一个更恒定的水平，这样递归网络就可以有大量的时间来学习，从而建立一个开放的长距离因果链接。本文利用LSTM神经网络算法对时间序列的特点，预测相应股票交易的短期变化。

LSTM Neural Network

LSTM引入了一种称为记忆单元的新结构。记忆单元由四个主要元素组成：输入门，具有自循环连接（与自身的连接）的神经元，遗忘门和输出门。自循环连接具有1.0的权重，并且确保除非有任何外部干扰，否则存储器单元的状态可以从一个时间步到另一个时间步保持恒定。输入门可以允许输入信号改变记忆单元的状态或阻止它;另一方面，输出门可以允许记忆单元的状态影响其他神经元或阻止它;最后，遗忘门可以调节记忆单元的自循环连接，允许记忆单元根据需要记住或忘记其先前的状态。

一个标准的神经网络单元仅由相关的输入激活和输出激活组成，使用以下激活函数：

下面的等式描述了如何在每个时间步长t更新一层存储器单元：
是在时间t时存储单元层的输入。
是权重矩阵， 是偏移向量。
首先，计算输入门 和存储单元在时间t的状态的候选值 的值：

其次，计算 的值，即在时间t激活存储单元的遗忘门：

给定输入门激活、遗忘门激活 和候选状态值 ，可以计算 在时间t的新状态：

有了存储单元的新状态，可以计算它们的输出门的值，然后计算它们的输出：

实验过程

实验数据来自JoinQuant 1平台的股票数据接口。在该平台中，通过设置相关参数，可以获取股票历史交易数据和k线数据。本实验选取的数据为中证603899指数2014年5月18日至2017年1月29日的收盘数据。
训练样本的特征为沪深300指数2014-05-18至2016-12-25收盘数据的MA、EMA、oc、oh、ol、ch、cl和lh。

首先，根据股票的收盘价数据计算出该股票的MA、EMA指数。
MA：移动平均线。Ci是某一天的收盘数据。

EMA：指数移动平均线。X是一个变量，N是某一天，Y '是上一个周期的EMA。

其次，按照以下方法对股票数据的相关性指标进行预处理：

使用上述条件和keras 2包来构造LSTM网络模型。

实验结果

堆栈式LSTM通过对多层LSTM进行堆栈，提取下层LSTM的隐藏状态信息，得到实例训练算法，取得了良好的效果。但它受到tanh的限制，LSTM模型在超过五层后需要消耗更多的计算资源。所以，本文使用了一个不超过三层的堆叠LSTM模型。
实验结果表明，单层LSTM模型的样本准确率为0.66, 三层LSTM模型最高可达0.78
单层LSTM模型的预测结果:

三层LSTM模型的预测结果:

Conclusion

本文中使用LSTM来提取特征值并分析股票数据。实验结果表明，该模型能起到较好的预测效果，对于短时间段的数据有72%左右准确率。但该模型仍有很多改进，以提高其准确性。

深度学习

分类任务

输入x，需要输出其对应的种类y，常见任务有医疗诊断、手写文字识别、人脸识别等等。
实现分类的方法有生成模型和判别模型等。

Generative Model（生成模型）

在神奇宝贝的例子中，有79只水系，61只自然系，假设训练集服从高斯分布，使用极大似然法找出79只水系和61只自然系最符合的高斯分布（越接近中心点，x被选出的概率越高）。

Posterior probability后验概率

生成模型中需要计算后验概率，仍以二分类神奇宝贝为例：
P（c1|x）为测试集属于水系的概率。由下述可知，生成模型需要先求出均值向量μ和协方差矩阵Σ后，再计算出w和b的值，计算较为复杂。

Discriminative Model（判别模型）

判别模型使用逻辑回归的方法直接找w和b的值，通常比生成模型更加准确，尤其在训练集很多的情形下。