HRT：一种高效的双层强化学习模型优化股票交易决策

“Hierarchical Reinforced Trader (HRT): A Bi-Level Approach for Optimizing Stock Selection and Execution”

论文地址：https://arxiv.org/pdf/2410.14927

摘要

深度强化学习（DRL）在自动化股票交易领域显示出了巨大的潜力，但同时也遇到了诸如维度灾难、交易行为的惯性以及投资组合缺乏多样性等难题。本文介绍了一种创新策略：分层强化交易系统（HRT），它运用了两层的分层强化学习结构。

在HRT中，高层控制器（HLC）基于近端策略优化（PPO）算法负责选股，而低层控制器（LLC）则采用深度确定性策略梯度（DDPG）算法来精细化交易执行。实证研究表明，在牛市和熊市环境中，HRT所实现的夏普比率均超越了单一DRL模型以及标普500指数的表现。

该方法成功地解决了维度灾难、交易行为惯性及投资组合多样性不足的问题，并为构建能在复杂市场环境下获取收益且稳定的交易算法提供了新的设计思路。

简介

现代投资组合理论（MPT）通过评估预期收益和资产间的协方差矩阵，以优化投资组合，力求在给定风险水平下实现最大收益或最小化风险。然而，这种方法的实际应用较为复杂。

马尔可夫决策过程（MDP）为股票交易提供了一种建模方式，通过动态规划来解决问题。不过，在真实的市场环境中，由于状态空间的极大规模，这种方法的扩展性受到了限制。

深度强化学习（DRL）借助深度神经网络解决了MDP中状态空间庞大带来的扩展性难题。例如，Liu等人运用深度确定性策略梯度（DDPG）算法，成功发现了更为优越的交易策略。

深度强化学习（DRL）面临的挑战：

• 维度诅咒：随着投资组合中股票数量的增加，计算复杂性和所需的样本量大幅上升，导致训练过程变得不稳定。因此，当前大多数研究仅限于处理少量资产。
• 惯性效应：DRL代理可能会表现出倾向于重复执行之前的操作，而不是根据最新的市场状况选择最优行动，这可能导致交易活动过于集中，缺乏灵活性。
• 多样化不足：DRL代理往往偏好集中在少数几只股票上进行交易，增加了对特定行业的依赖风险，从而削弱了通过分散投资来缓解风险的效果。

层次强化交易者（HRT）的引入：

为了解决上述挑战，本文提出了层次强化交易者（HRT），它基于层次强化学习（HRL）框架，旨在改进股票交易策略。HRT由两个核心组件构成：

• 高级控制器（HLC）：专注于股票的选择决策，包括买、卖或持有等操作，以优化投资组合的构成。
• 低级控制器（LLC）：在HLC选定的股票基础上，进一步优化具体的交易量，确保交易执行的效率和精准度。

HRT在S&P 500上