【文献阅读】Applications of deep learning in stock market prediction: Recent progress

最新推荐文章于 2023-11-15 09:51:25 发布
最新推荐文章于 2023-11-15 09:51:25 发布
阅读量4.2k 收藏 3
点赞数 1
分类专栏： 小见读文献 文章标签： 强化学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41960890/article/details/123952427
版权

Applications of deep learning in stock market prediction: Recent progress

1 本文相关介绍

本文为 2021 年 CCF-C 类期刊 Expert Systems With Applications 所录用。其相关贡献如下：

  1. 作者总结应用在股票预测的最新的深度学习技术，尤其关注近三年的方法；
  2. 作者给出了股票市场预测的一般工作流程，在此基础上可以很容易地对以前的研究进行分类和总结。并且未来的研究可以在工作流程的每个步骤中参考之前的工作；
  3. 作者十分关注这些方法的实现和复现性；
  4. 作者指出了几个未来的方向，其中一些正在进行中，并帮助读者赶上研究前沿；
  5. 创建了一个关于该主题的开放 GitHub 开源库，将收集和不断更新相关研究。

https://github.com/jwwthu/DL4Stock

2 研究结果

作者调研了 2017-2019 年该领域的 研究论文发布情况。如果目标是预测价格的具体值，作者将其归类为回归问题，如果目标是预测价格运动方向，例如上涨或下跌，作者将其归类为分类问题。大多数研究都在考虑每日预测（124个中的105个），只有少数研究考虑了日内预测（124个中的18个），例如每5分钟或每小时预测。124篇论文中只有一篇同时考虑了每日和盘中情况。

在这里插入图片描述

作者将之前的研究总结为一般工作流程，其中包含大多数研究遵循的四个步骤：Raw Data、Data Processing、Prediction Model 和 Model Evaluation。

2.1 Raw Data

在 有效市场假说 中，资产价格已经反映了所有可用信息。但在实践中，许多研究人员不同意这一结论，因此许多不同的外部数据来源被用于股票市场预测。

有效市场假说（Efficient Markets Hypothesis，EMH）

在法律健全、功能良好、透明度高、竞争充分的股票市场，一切有价值的信息已经及时、准确、充分地反映在股价走势当中，其中包括企业当前和未来的价值，除非存在市场操纵，否则投资者不可能通过分析以往价格获得高于市场平均水平的超额利润。

数据种类
  1. 市场数据（Market data）：市场数据包括股票市场中发生的所有交易活动，例如开盘价/最高价/最低价/收盘价、交易量等。它既用作输入特征（例如，回溯窗口中的历史价格）和 预测目标（例如，第二天的收盘价）；
  2. 文本数据（Text data）：由个人产生的相关文本信息，例如社交媒体、新闻数据、网络搜索等。可用于情绪分析；
  3. 宏观经济数据（Macroeconomics data）：宏观经济数据反映特定国家、地区或部门的经济状况，例如，消费者价格指数（CPI）、国内生产总值（GDP）等。这些指标与股票市场相关，因为它们表明整个股票市场的健康程度以及可以确认股票市场上涨或下跌的质量；
  4. 知识图谱数据（Knowledge graph data）：不同公司和不同市场之间存在某种关系，例如，同一行业的股票走势可能会受到同一消息的影响；
  5. 图像数据（Image data）：受卷积神经网络在 2D 图像处理（例如分类和对象检测）中的成功启发，烛台图被用作股票预测的输入图像；
  6. 基本面数据（Fundamental data）：最常见的基础数据类型是会计数据，每季度报告一次，例如资产、负债等。在深度学习模型的研究中较少使用，因为报告频率低，而且数据不准确。例如，发布的基本数据以报告中包含的最后日期为索引，并且在发布日期之前，这会带来使用未来信息的风险；
  7. 分析数据（Analytics data）：分析数据是指可以从投资银行和研究公司提供的报告中提取的数据（例如，推荐买卖股票），对公司的商业模式、活动进行深入分析。这些报告提供了估值信息，虽然它们可能成本高昂并且在不同的消费者之间共享，他们都希望使用这些信息来获利。

在这里插入图片描述

对于深度学习模型，需要大量的输入数据来训练一个复杂的模型神经网络模型。在这种情况下，市场数据是最好的选择并且使用最多，因为它提供的数据样本量最大，而其他数据类型通常具有较小的大小。文本数据使用第二多，随着社交媒体和在线新闻网站的普及以及网络爬虫更容易使用网络爬虫获取文本数据。一个极端的例子是分析数据，由于数据稀疏和访问成本高，这些数据从未在调查研究中使用。

数据长度

为了评估不同模型的性能，需要历史数据进行评估。但是，在选择数据长度方面存在折衷。短时间的数据不足以显示有效且具有较高的过拟合风险，而长时间的数据则冒着穿越不同市场风格并呈现过时结果的风险。此外，数据可用性和成本是选择数据长度时需要考虑的因素。

在这里插入图片描述

获得高质量的日内数据成本更高，并且以前大多数涉及日内预测的研究都使用不到一年的时间段。

2.2 Data Processing

数据缺失

丢失数据的问题不像其他领域那样严重，例如传感器数据，因为市场数据更可靠，并且得到交易市场的良好支持和维护。但是，为了对齐具有不同采样频率的多种类型的数据，例如市场数据和基本面数据，应将采样频率较低的数据向前插入，将最后一个有效观察值向前传播到下一个有效值，以避免数据泄漏的未来信息。

数据降噪

股票交易过程中存在诸多非理性行为，市场数据充满噪音，可能会歪曲价格变化趋势，误导预测。作为一种信号处理技术，小波变换（wavelet transform） 已被用于消除股票价格时间序列中的噪声。另一种方法是使用 kNN-分类器，该分类器基于数据准备层中具有不同标签的两个训练集。

特征提取

首先是输入特征的情况。

在这里插入图片描述

数据降维

许多特征可能彼此高度相关，例如，技术指标都是根据历史开盘价/最高价/最低价/收盘价和成交量计算得出的。为了缓解深度学习模型过度拟合的相应问题，已采用输入特征的降维作为股票市场预测的预处理技术。

主成分分析（PCA） 是一种常用的变换技术，它使用输入数据的奇异值分解将其投影到较低维空间。Zhong 和 Enke (2017) 甚至对不同版本的 PCA 进行了比较，发现 PCA-ANN 模型 相比于使用 模糊鲁棒主成分分析（FRPCA） 和 基于核的主成分分析（KPCA） 对第二天 SPY 的每日方向的预测精度略高。

其他选择的方法有：独立分量分析 (ICA) 、自动编码器 、受限玻尔兹曼机、经验模式分解 (EMD) 和 子模式坐标算法 (SMC) 。

特征选择 是另一种降维方式，只选择输入特征的一个子集。卡方方法 和 最大相关性和最小冗余 (MRMR) 是两种常用的特征选择技术。卡方方法决定分类预测变量和目标类变量是否独立。高卡方值表示目标变量对预测变量的依赖程度。最小冗余最大相关性使用启发式方法来最小化冗余，同时最大化相关性以通过 F 统计值为连续和离散输入选择有希望的特征。

特征标准化

给定不同尺度的不同输入特征，使用特征归一化和标准化来保证一些机器学习模型可以工作，也有助于提高模型的训练速度和性能。 特征归一化是指通过最小值和范围重新调整输入特征的过程，使所有值介于 0 和 1 之间，或介于 − 1 和 1 之间。

数据划分

为了评估不同的预测模型，机器学习和深度学习领域通常使用样本内/样本外拆分或数据样本的训练/验证/测试拆分。使用训练或样本内数据集训练模型，在可选的验证数据集上微调超参数，并在测试或样本外数据集上评估最终性能。进一步使用k-fold交叉验证将数据集分成k个连续的折叠，k-1折叠作为训练集，最后一个折叠作为测试集。

数据增强

数据增强技术已广泛用于图像分类和目标检测任务，并被证明可以有效地提高分类和检测性能。然而，它较少用于包括股票预测在内的时间序列任务，尽管股票价格时间序列的大小无法与公共图像数据集的大小相提并论，公共图像数据集通常有数百万个样本，近年来甚至更多。

2.3 Prediction Model

大多数预测模型属于监督学习方法，当训练集用于训练，测试集用于评估时。当标签在特征提取步骤中不可用时，只有少数研究使用半监督学习。我们进一步将各种预测模型分为三种类型：标准模型及其变体、混合模型和其他模型。对于标准模型，大量使用了三类深度学习模型，即前馈神经网络、卷积神经网络和递归神经网络。我们将生成对抗网络、迁移学习和强化学习的使用归类到其他模型中。这些模型是近几年才出现的，目前还处于应用于股市预测的早期阶段。

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

在这里插入图片描述

综合情况来看：

在这里插入图片描述

2.4 Model Evaluation

主要分为四种评估指标：

  1. *Classification metrics.*分类指标用于衡量模型在运动预测上的表现，将其建模为分类问题。常用的指标包括准确度、精度、召回率、灵敏度、特异性、F1 分数、宏观平均 Fscore、Matthews 相关系数、平均 AUC 得分、Theil’s U 系数、命中率、平均相对方差等。
  2. *Regression metrics.*回归指标用于衡量模型在股票/指数价格预测上的表现，将其建模为回归问题。常用的指标包括平均绝对误差（MAE）、均方根绝对误差（RMAE）、均方误差（MSE）、 归一化 MSE (NMSE)、均方根误差 (RMSE)、相对均方根误差、归一化均方根误差 (NRMSE)、平均绝对百分比误差 (MAPE)、均方根相对误差 (RMSRE)。
  3. *Profit Analysis.*利润分析评估基于预测的交易策略是否能够带来利润。通常从收益和风险两个方面进行评估。收益是股票投资组合价值的变化，风险可以通过最大回撤，或年化波动率。夏普比率是一个将收益和风险都考虑在内的综合指标，即每单位波动率超过无风险收益的平均收益。
  4. *Significance Analysis.*为了确定在将深度学习模型与基线进行比较时在预测方面是否存在显着差异，可以使用 Kruskal-Wallis 和 Diebold-Mariano 测试来测试统计显着性，它决定了一个统计上更好的模型。

3 未来方向

作者认为未来可发展的方向如下：

  1. 新模型的使用，例如GAN、强化学习等方法；
  2. 多源数据的收集；
  3. 跨市场分析，大多数现有研究只关注一个股票市场，因为股票市场由于交易规则而彼此不同，而不同的市场可能有一些共同的现象，可以通过转移学习等方法进行预测。
  4. 算法交易。强化学习。
Python金融行业必备工具
尹成的技术博客
07-22 2万+
有些国外的平台、社区、博客如果连接无法打开，那说明可能需要“科学”上网量化交易平台国内在线量化平台：BigQuant - 你的人工智能量化平台 - 可以无门槛地使用机器学习、人工智能开发量化策略，基于python，提供策略自动生成器 镭矿 - 基于量化回测平台果仁网 - 回测量化平台 京东量化 - 算法交易和量化回测平台 聚宽 - 量化回测平台 优矿 - 通联量化实验室 Ricequant
Deep Reinforcement Learning for Market Making 深度强化学习做市 论文笔记和心得体会
Achang的博客
09-19 643
做市是一种高频交易策略，在这种策略中，经纪人提供流动性，同时对一种资产报出买入价和卖出价。做市商通过买入和卖出价格之间的价差来获取利润。由于库存风险、交易对手和信息不对称的复杂性，各学科的学者对做市算法的理解相对缺乏探索。在本文中，我们开发了极限或极限市场的真实模拟，并利用它设计了一个使用深度循环q -网络的做市代理。我们的方法优于文献中的一个杰出的基准策略，该策略使用时间差分temporal-difference强化学习来设计做市商代理。代理成功地从每次模拟中重现历史贸易数据中的程式化事实。
Deep Learning Networks for Stock Market Analysis and Prediction
07-06
We offer a systematic analysis of the use of deep learning networks for stock market analysis and prediction. Its ability to extract features from a large set of raw data without relying on prior knowledge of predictors makes deep learning potentially attractive for stock market prediction at high frequencies. Deep learning algorithms vary considerably in the choice of network structure, activation function, and other model parameters, and their performance is known to depend heavily on the method of data representation. Our study attempts to provides a comprehensive and objective assessment of both the advantages and drawbacks of deep learning algorithms for stock market analysis and prediction. Using high-frequency intraday stock returns as input data, we examine the effects of three unsupervised feature extraction methods—principal component analysis, autoencoder, and the restricted Boltzmann machine—on the network’s overall ability to predict future market behavior. Empirical results suggest that deep neural networks can extract additional information from the residuals of the autoregressive model and improve prediction performance; the same cannot be said when the autoregressive model is applied to the residuals of the network. Covariance estimation is also noticeably improved when the predictive network is applied to covariance-based market structure analysis. Our study offers practical insights and potentially useful directions for further investigation into how deep learning networks can be effectively used for stock market analysis and prediction.
【文献阅读】Stock Market Prediction via Deep Learning Techniques: A Survey
weixin_44195690的博客
02-06 2429
（文献阅读）挑选了2011年至2022年之间94篇，基于股票预测的深度学习技术的高质量的论文，总结了这些工作中基于深度神经网络的最新模型
IJCAI_论文_NLP+CNN_深度学习_Deep Learning for Event-Driven Stock Prediction
weixin_30768661的博客
04-12 919
Deep Learning for Event-Driven Stock Prediction Reading time:2019/3/30-2019/4/12 Theme:Deep learning; CNN; NLP Abstract: 　　We propose a deep learning method for eventdriven stock market predict...
Inspirational Applications of Deep Learning
liujiandu101的博客
07-27 596
  by Jason Brownlee on July 14, 2016 in Deep Learning It is hyperbole to say deep learning is achieving state-of-the-art results across a range of difficult problem domains. A fact, but also hyperbo...
深度学习技术在股票交易上的应用研究调查
热门推荐
Richard_More的博客
08-30 1万+
文中缩写： DBN = 深度信念网络 LSTM = 长短期记忆网络 MLP = 多层感知器 RBM = 受限玻尔兹曼机 ReLU = 修正线性单元 CNN = 卷积神经网络 限价委托单薄模型（Limit Order Book Modeling） Sirignano（2016）提出了一
【Machine Learning Time Series Forecasting: From Beginner to Expert】: Mastering Core Applications
# [Machine Learning Time Series Forecasting: From Beginner to Expert, Mastering Core Applications](https://***/167ae4fd6205b00d002cd00dbedee4fb0421d60c/e4f89/images/time-series-vectors-1.png) ...
: Experts Lead You from Zero to Mastery in Analysis and Prediction
# The Ultimate Guide to Time Series Forecasting: Experts Take You From Zero to Mastery in Analysis and Prediction ## 1. Fundamentals of Time Series Forecasting Time series forecasting involves using...
MATLAB's Optimization Applications in Finance: A Detailed Case Study on Portfolio Optimization
# 1. An Overview of MATLAB's Application in Financial Optimization MATLAB, as a powerful numerical computing and scientific ... In the field of financial optimization, the scope of MATLAB's applications
Time Series Forecasting with Sliding Window Technique: Dynamic Prediction and Case Analysis
# Time Series Forecasting with Sliding Window Technique: Dynamic Prediction and Case Study ## 1. Theoretical Foundations of Time Series Forecasting ### 1.1 Overview of Time Series Forecasting Time ...
StockPricePrediction：使用机器学习技术的股价预测
02-03
使用监督学习的股市价格预测 目标 检查许多不同的预测技术，以根据过去的收益和数字新闻指标预测未来的股票收益，以构建多只股票的投资组合，以分散风险。 为此，我们通过解释看似混乱的市场数据，将监督学习方法应用于股价预测。 设定说明 $ workon myvirtualenv [Optional] $ pip install -r requirements.txt $ python scripts/Algorithms/regression_models.py <input-dir> <output> 从下载运行代码所需的数据集。 项目概念视频 方法 预处理和清洁 特征提取 Twitter的情绪分析和得分 数据归一化 各种监督学习方法的分析 结论 研究论文 使用的数据集 有用的链接 幻灯片： : 视频： : 报告： : 参考文献
【文献阅读】Optimistic Bull or Pessimistic Bear: Adaptive Deep Reinforcement Learning for Stock Portfolio
见见大魔王
12-19 507
Optimistic Bull or Pessimistic Bear: Adaptive Deep Reinforcement Learning for Stock Portfolio Allocation 0 简介 在本文中，作者为投资组合分配任务提出了一种新颖的 自适应深度确定性强化学习方案（Adaptive DDPG），它结合了乐观或悲观的深度强化学习，反映了预测错误的影响。选择道琼斯 30 只成分股作为我们的交易股票，并以它们的每日价格作为训练和测试数据。作者训练 Adaptive DDPG 的
Financial Analysis: Stock Market Prediction Using Deep Learning Algorithms
weixin_30563917的博客
05-04 331
论文题目：Financial Analysis: Stock Market Prediction Using Deep Learning Algorithms 论文核心思想：本篇论文主要比较了Back propogation,SVM,LSTM在预测股票趋势时的效果，最后得出结论LSTM在预测走势时的结果较好，，，，这个paper太水了。。 转载于:https://www.cnblogs.com/...
A Survey of Deep Learning Techniques Applied to Trading
Richard_More的博客
08-30 5588
A Survey of Deep Learning Techniques Applied to Trading Deep learning has been getting a lot of attention lately with breakthroughs in image classification and speech recognition. However, its
paper：A Deep Learning based Stock Trading Model with 2-D CNN Trend Detection 2D CNN模型
David_7788的博客
01-09 311
paper：A Deep Learning based Stock Trading Model with 2-D CNN Trend Detection 2D CNN 模型
【量化交易】94篇论文分析股市预测的深度学习技术
敲代码的quant的博客
02-14 5486
论文 |Stock Market Prediction via Deep Learning Techniques: A Survey作者 |Jinan Zou, Qingying Zhao, Yang Jiao, Haiyao Cao, Yanxi Liu, Qingsen Yan, Ehsan Abbasnejad, Lingqiao Liu, Javen Qinfeng Shi一 本文摘要...
论文解读：Stock2Vec: A Hybrid Deep Learning Framework for Stock Market Prediction with Representation
最新发布
weixin_54652231的博客
11-15 287
TCN模块输出并没有产生最终大小为1的预测，而是输出一个向量作为特征图，其中包含了从时间序列中提取的信息，可以将其与已学习的Stock2Vec特征进行拼接。Database “FinSentS Web News Sentiment”: 股票的每日新闻文章数量,及衡量媒体中使用文本的情感评分 🔗：(https://www.quandl.com/databases/NS1/)categorical input：通过嵌入映射为稠密的数值向量，从股票名称中嵌入的向量作为类别特征被称为Stock2Vec。
语义分割源代码_今日 Paper | 双向ConvLSTMU-Net卷积；SAU-Net；立体匹配；深度语义分割等...
weixin_39937412的博客
12-01 414
目录具有稠密连接的双向ConvLSTMU-Net卷积SAU-Net:基于空间注意力的密集型U-N网络在脊柱三维MRI分割中的应用学会自适应的立体匹配自然和医学图像的深度语义分割：综述深度学习在股市预测中的应用：最新进展 具有稠密连接的双向ConvLSTMU-Net卷积论文名称：Bi-Directional ConvLSTM U-Net with Densley Connected Convo...
引用Prediction of heart abnormalities using deep learning model and wearabledevices in smart health homes
05-11
这篇论文的主要研究内容是基于深度学习模型和可穿戴设备，对智能健康家居中心的心脏异常进行预测。研究人员通过对多个智能家居中心的数据进行分析和训练，建立了一个深度学习模型，该模型能够通过可穿戴设备收集的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

见见大魔王

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值