使用深度强化学习进行投资组合分配的动态优化

“Dynamic Optimization of Portfolio Allocation Using Deep Reinforcement Learning”

论文地址：https://arxiv.org/pdf/2412.18563

摘要

随着人工智能技术的发展，它正在重塑金融投资决策流程，而深度强化学习（DRL）尤其在机器人顾问服务领域展示了其应用价值。传统的投资组合优化方法在应对动态调整资产权重的需求时存在局限性。

本文介绍了一种基于深度强化学习的新型动态优化模型，旨在改进资产配置效率。该模型的亮点在于为Actor-Critic算法量身定制了夏普比率作为奖励函数，并通过随机采样结合强化学习来提升投资组合的表现。同时，设计了一个专门针对资产优化目标的深度神经网络架构。

为了验证模型的有效性，我们选取了CSI300指数中的成分股进行了实证分析，并与传统的均值-方差优化和风险平价策略进行了对比。回测结果表明，这一动态优化模型在资产配置方面表现出色，不仅增强了风险控制能力，还改善了风险调整后的回报率以及整体的投资表现。

简介

人工智能（AI）在自然语言处理方面已经取得了显著的进步，其中ChatGPT通过采用“人类反馈强化学习”（RLHF）大大增强了其语言理解和生成的能力。这种技术融合了深度学习与强化学习的优势，使得AI系统不仅性能得到提升，而且更能够与人类的意图对齐。尽管深度强化学习（DRL）已经在自然语言处理、游戏AI和机器人控制等多个领域展现出了卓越的表现，但其在金融领域的应用仍处于初步探索阶段，特别是在投资组合优化方面。

投资组合优化是金融市场中的一个关键挑战，它涉及到如何动态地将资金分配到不同的资产中。传统的方法往往受限于某些假设，并且在适应不断变化的市场环境方面存在不足。本研究着眼于利用深度强化学习来改善投资组合优化问题，通过设计新的奖励机制和深度神经网络结构，目标是创建一个智能化的动态资产配置模型。这有望促进金融领域中AI技术的应用和发展，为投资者提供更为灵活和高效的资产管理解决方案。

01相关工作

马科维茨的现代投资组合理论奠定了定量分析在投资组合优化中的基础。然而，塞缪尔森指出该模型主要适用于单期投资场景，并对多期资产配置的有效性提出了质疑，因此引入了财富规划的效用函数概念。后续研究者如凯利和默顿等人进一步扩展了效用函数的应用，尽管存在选择函数主观性和普适性验证不足的问题。黑利特曼模型加入了市场隐含均衡收益的假设，但对投资者主观预期的置信度没有统一衡量标准。查恩斯等人的数据包络分析（DEA）为资产配置提供了非参数分析方法，而柯克帕特里克则应用模拟退火算法来优化投资组合，阿尔诺等人通过遗传算法减少投资风险。这些传统模型通常将投资组合权重调整视为静态过程，忽略了时间维度以及资产配置随市场活动的变化。

经典的投资组合模型，例如马科维茨框架，通过预期收益与资产权重相乘来计算投资组合的回报。但在动态交易环境中，实际收益比预期收益更为重要，因为投资组合的最终回报取决于前期权重与当前期的实际收益。许多金融优化模型，如条件风险价值模型和风险平价模型，往往忽视了资产权重的时间演变，这影响了它们在实际交易中的表现。传统的金融计量方法及复杂算法，包括DEA、模拟退火和遗传算法，未能充分捕捉到投资组合权重的动态变化，难以实现最优的资产配置策略。

深度强化学习（DRL）借助深度神经网络改进了传统强化学习的目标函数近似能力，早期的强化学习使用策略梯度（PG）和Q学习算法。Moody等人首次将PG应用于单个资产的管理，而后续的研究大多集中在单一风险资产上，如Dempster的外汇交易模型。Neuneier和Gao等人也探讨了Q学习在资产管理中的应用，但仍然局限于单个资产。一些学者在利用DRL进行资产配置优化时，未充分考虑深度神经网络的设计细节和资产权重约束（∑wij,t=1）。Jiang等人提出的加密货币市场的DRL优化模型虽然创新，但在交易成本推导方面存在数学上的不一致，需要进一步检验其在其他市场的适用性。

目前，基于DRL的投资组合优化模型多以投资组合回报作为奖励函数，但在特定市场&#