深度强化学习构建股票预测模型-金融投资应用-【matlab】

一、主体思路

与传统的金融投资方法相比，较为不同的是使用人工智能模型可以很好地挖掘股市中隐藏的信息，对股票之间的关联性做出很好的分析，透过股票的涨跌情况和交易的数量，得出当下股市的一般规律，并依据此规律做出合适的购买和卖出操作，以期获得较高的投资回报。特别是在经济快速发展的当下，上市公司数量增加，股票的总量越来越多，参与股票买卖的投资者也越来越多，面对海量的股票交易数据和频繁的买卖操作，人工智能的优点更加突出，基于人工智能设计股票买卖的策略已经成为金融业乃至投资者钟意的一种投资方式，并在世界上流行起来。 
当下，大多数金融投资机构仍采取监督学习的方式在股票市场中做投资决策，较少的投资机构会采用强化学习。一部分原因是监督学习的方法一直以来都是挖掘数据信息的重要手段，而强化学习是近几年才慢慢发展起来，并且一开始强化学习被推出来的时候是应用于游戏领域，在金融投资方面的研究较少。然而，深度强化学习具备处理高维数据的能力，面对大量的股票数据可以实现从股票状态空间到交易动作空间的直接映射，并且在实现自动的股票交易决策和股票价格预测方面有更好的效果。 

因此，提出了基于对比超图强化学习的投资组合方法，该方法使用超图结构来描述股票之间的成组(group-wise)关系。具体地说，本文使用超图结构对股票之间的关系进行建模，并设计了一个双通道超图注意力网络捕捉股票的关系，在每个股票超图中聚合信息时，引入注意力机制来区分不同股票邻居节点的重要性。本文从两个通道中分别得到同一股票的两个独立表示，并引入对比学习，最大化同行业和同基金股票间的互信息，提高它们自身的表示学习能力。进一步地，本文将不同股票融合后的表示作为强化学习中策略函数的环境状态，利用策略梯度算法对模型进行训练。通过这种方式，本文明确地加入了丰富的成组关系信息，以指导更有利可图的投资组合。 同时开展了面向三种交易任务的强化学习研究，包括：单只股票交易任务、多只股票交易任务和投资组合任务。将从市场中获取到的股票价格数据和计算出的金融指标作为环境状态，并将两类强化学习算法中的多个代表性算法作为策略网络。

二、核心代码与过程

三种任务差异

选取的数据

网络结构图

累积投资组合价值的波动曲线

运行过程

股票收益率算例

env = rlPredefinedEnv("BasicGridWorld");


numObs = numel(env.ObservationInfo);
numAct = numel(env.ActionInfo);
layers = [ ...
    imageInputLayer([numObs 1 1],'Normalization','none','Name','observation')
    fullyConnectedLayer(24,'Name','fc1')
    reluLayer('Name','relu1')
    fullyConnectedLayer(24,'Name','fc2')
    reluLayer('Name','relu2')
    fullyConnectedLayer(numAct,'Name','output')];
dqn = rlDQNAgent(layers,env,'Observation',{'observation'},'Action',{'Action'},...
    'TargetSmoothFactor',1,'DiscountFactor',0.99,'ExperienceBufferLength',1000);


trainOpts = rlTrainingOptions('MaxEpisodes',100,'MaxStepsPerEpisode',100,...
    'Verbose',false,'Plots','training-progress');
trainStats = train(dqn,env,trainOpts);


simOpts = rlSimulationOptions('MaxSteps',100);
experience = sim(env,dqn,simOpts);

三、更多参考题目

改进的卷积神经网络在金融预测中的应用研究
基于深度学习的风险中性序列生成和股票投资策略的研究
基于深度学习的多股票预测方法研究
基于LSTM深度神经网络的金融风险控制模型设计与实现
基于深度学习(Seq2Seq)模型的金融市场不确定性量化与分析 
基于深度强化学习的功率分流式混合动力汽车能量管理策略研究
基于深度强化学习的移动机器人导航策略研究
基于深度强化学习的城市交通灯控制方法研究
济阳农村商业银行全面风险管理研究
中国商业银行声誉风险度量研究——来自国有银行的证据
改进的卷积神经网络在金融预测中的应用研究
基于深度学习的风险中性序列生成和股票投资策略的研究
基于深度学习的多股票预测方法研究
基于LSTM深度神经网络的金融风险控制模型设计与实现
基于深度学习(Seq2Seq)模型的金融市场不确定性量化与分析 
面向困难探索博弈环境的深度强化学习算法研究
基于深度强化学习的高效能云任务调度算法研究
公平性机器学习及其在金融领域的应用
基于网络表征学习的系统性金融风险研究
基于金融数据的机器学习模型构建与量化分析
基于深度学习的量化选股模型研究
基于深度强化学习的3D游戏的非完备信息机器博弈研究
人工智能在金融领域的应用研究
基于深度学习和波浪理论的金融预测模型研究
深度强化学习中的值函数模型研究 
基于深度增强学习的兴趣点推荐
结合深度强化学习的改进神经图灵机研究与应用
基于深度强化学习的机械臂控制研究
从虚拟到现实的智能车辆深度强化学习控制研究
基于深度强化学习的移动机器人轨迹跟踪和动态避障
基于深度强化学习的移动边缘计算中的计算卸载与资源分配算法研究与实现
基于深度强化学习的机器人导航研究
融合行为金融学的机器学习选股算法研究及应用
基于深度强化学习的视频游戏模拟算法研究
深度强化学习在网络资源管理问题中的应用 
基于深度强化学习的无线虚拟网络资源分配问题研究
基于深度强化学习的流媒体边缘云会话调度策略
基于深度强化学习的数学应用题自动求解器
基于深度强化学习的信号灯自适应决策
基于深度强化学习的跳跃式小行星探测器规划策略研究
基于深度强化学习的多智能体城市道路交叉口交通流优化控制研究
基于深度强化学习的高速公路主线可变限速系统研究
利用深度学习构建深度投资组合
基于机器学习的金融风控模型和算法研究
我国家庭金融市场参与影响因素的实证研究 
金融类文本分析与翻译对策—《2019年营商环境报告:强化培训,促进改革》(节选)翻译实践报告
基于强化学习的客户调度算法及应用
金融安全监控视频的行为分类与识别
基于深度学习多步预测的贵金属期货操作辅助决策模型
深度学习在量化交易中的应用
金融发票自动识别系统的研究与开发
基于混合神经网络对金融序列预测的研究
一种基于深度学习的沪深300指数期货波动风险预测方法研究
机器学习在金融领域的应用
社会网络与中国家庭金融资产配置问题研究 

博主简介：本人擅长数据处理、建模仿真、程序设计、论文写作与指导，毕业论文、期刊论文经验交流。个人博客kelaboshi.com。