基于金融新闻的大型语言模型强化学习在投资组合管理中的应用-CSDN博客

本文链接：https://blog.csdn.net/AI16947/article/details/145174473

“Financial News-Driven LLM Reinforcement Learning for Portfolio Management”

摘要

本研究探索了如何通过将大语言模型（LLM）支持的情感分析融入强化学习（RL）中，以实现金融交易动态策略的优化。针对苹果公司股票（AAPL）和ING Corporate Leaders Trust Series B基金（LEXCX）的投资组合进行了实验验证。结果显示，加入了情感分析的RL模型在资产净值和累计收益方面均表现更优。尤其是在基金投资组合测试中，该增强模型的表现也超过了采用买入并持有策略的LEXCX。这些发现表明，引入定性市场情绪指标能够提升决策效率，有助于缩小纯量化与质化金融交易策略间的差异。

简介

强化学习（RL）在金融交易领域日益受到关注，因其能够通过序列决策优化交易策略，但在考量如市场情绪等定性因素方面存在不足。本研究致力于通过将情感分析与RL相结合来弥补这一局限，运用大型语言模型（LLMs）从金融新闻中提取情感信息，并将其转化为适合RL模型处理的结构化数据。目的在于验证情感分析可以提升RL算法在交易和投资组合管理中的效能。首先开发了一个基于苹果公司（AAPL）股票的基线RL交易算法，并与集成了情感输入的版本进行了对比分析。接着，研究扩展到包含ING Corporate Leaders Trust Series B（LEXCX）在内的多元化投资组合，比较了结合情感分析的RL模型相对于传统RL模型以及原始LEXCX投资组合的表现差异。

01相关研究

强化学习（RL）在金融交易中展现出强大的能力，特别适用于动态市场条件下的策略优化，并已在单一股票交易和多元化投资组合管理方面取得了成功。诸如深度Q学习和策略梯度等方法已被用于模拟实际交易环境，但这些方法大多仅依赖于价格和成交量数据，未能充分利用市场信号和情绪变化。通过量化来自新闻、社交媒体及分析师报告中的情绪信息，情绪分析可以增强交易策略的有效性，有助于预测短期价格波动并反映市场波动性。利用GPT和BERT等大型语言模型（LLMs），情绪分析的准确性得到了显著提升，能够有效提取与金融相关的特定情境下的情绪信息。然而，目前在学术文献中鲜有研究将基于LLM的情绪分析整合进RL模型中应用于投资组合管理。本研究旨在填补这一研究空白，探索如何通过情绪分析提升RL模型在投资决策中的表现。

02方法

交易强化学习算法

算法目标：

强化学习（RL）交易算法旨在平衡灵活性、优化奖励和控制交易成本，以模拟真实的交易决策过程。

环境兼容性：

使用自定义环境设计，与OpenAI Gym兼容。该环境明确区分了动作空间和观察空间。

动作空间定义：