MarketSenseAI 2.0:通过LLM Agent辅助股票分析

MarketSenseAI 2.0: Enhancing Stock Analysis through LLM Agents

现有AI股票分析解决方案多集中于孤立数据类型,缺乏对金融文本和其上下文的深入分析。MarketSenseAI是一个利用大语言模型(LLMs)进行股票分析的框架,整合金融新闻、历史价格、公司基本面和宏观经济数据。

在2023-2024年对S&P 100股票的实证评估中,MarketSenseAI实现了125.9%的累积回报,超出市场指数的73.5%。2024年对S&P 500股票的进一步验证显示,该框架的可扩展性,Sortino比率比市场高出33.8%。

论文地址:https://arxiv.org/pdf/2502.00415

摘要

MarketSenseAI是一个利用大型语言模型(LLMs)进行股票分析的框架,整合金融新闻、历史价格、公司基本面和宏观经济数据。该框架通过检索增强生成和LLM代理的组合,处理SEC文件和财报,并系统性分析多种机构报告。相较于之前版本,基本面分析准确性显著提升。

在2023-2024年对S&P 100股票的实证评估中,MarketSenseAI实现了125.9%的累积回报,超出市场指数的73.5%。2024年对S&P 500股票的进一步验证显示,该框架的可扩展性,Sortino比率比市场高出33.8%。研究展示了LLM技术在金融分析中的应用进展,提供了LLM驱动投资策略的稳健性见解。

简介

MarketSenseAI旨在克服现有系统化股票分析方法的局限,尤其是在数据整合和频率不一致方面。现有AI解决方案多集中于孤立数据类型,缺乏对金融文本和其上下文的深入分析。MarketSenseAI提供透明的投资决策解释,增强用户信任。采用Chain-of-Agents (CoA)方法,精细处理大规模财务数据,提高基本面分析准确性。引入Retrieval-Augmented Generation (RAG)模块,增强宏观经济分析,提供更全面的背景信息。实验结果显示,MarketSenseAI在2023-2024年间对S&P 100和S&P 500股票的分析准确性和超额收益显著提升。

背景和相关工作

LLM在金融任务中的应用研究增加,包括基本面分析、Alpha发现和投资组合决策。相关研究领域包括:

  • 基于LLM的基本面分析

  • LLM驱动的投资分析的先进方法

  • 检索增强技术

  • SEC文件和财报电话会议在基本研究中的重要性

  • 宏观经济环境对股票分析的影响

基于LLM的基本面分析

研究表明,GPT-4能够通过链式思维(CoT)提示进行比率分析和趋势检测,提供可解释的解释和信心评估。GPT-4被用于生成基于经济推理的高回报因子,为量化投资模型奠定基础。LLMs能够从大量文本中提取结构化洞察,如财务比率和绩效模式。

LLM驱动的投资分析的先进方法

LLMs用于生成alpha信号和优化交易策略。Alpha-GPT结合人类专业知识与自动化alpha发现,改进交易信号。TradingGPT采用多代理、分层记忆架构进行协作决策,评估结果有限。通过情感分析、模型集成和上下文学习,预测中国股市回报,取得良好准确率。GPT-4利用上下文学习,从基本报告和新闻数据生成股票评级,某些情况下超越人类分析师。

检索增强技术(RAG)

RAG(检索增强生成)在生产系统中广泛应用,允许模型利用超出其内部参数和输入上下文的庞大语料库。在金融领域,处理多样化且不断更新的数据(如监管文件、市场新闻、经济报告)尤为重要。近期研究集中于改进文档处理中的分块、查询扩展和重排序算法,以减少上下文丢失。股票分析中,日期感知的文档检索至关重要,但常被标准相似性搜索忽视。尽管已有一些针对金融任务的RAG管道研究,但仍缺乏全面的、针对金融分析优化的领域特定解决方案。

SEC文件和财报电话会议在基本研究中的重要性

SEC文件(如10-K和10-Q)及财报电话会议在市场结果和投资决策中起关键作用,语言复杂性、披露内容和语调变化可预测回报和风险。脚注分析有助于识别隐藏风险,易读性和清晰度可作为管理能力和盈利透明度的代理指标。

财报电话会议期间交易量和波动性增加,管理层的即兴见解能显著影响市场。电话会议的语调对公司未来表现具有预测能力,且定性线索提供超越定量指标的额外信号。直接参与电话会议的分析师能生成更精确的预测。

新兴研究表明大型语言模型(LLMs)在财务披露和分析中的变革潜力,能够自动提取可持续性指标和财务概念。LLMs在解析财报电话会议情感方面的有效性得到验证,且能生成接近人类质量的多角度分析报告。这些进展表明LLMs可能重塑基础分析工作流程,但需谨慎管理以维护信息完整性。

宏观经济环境对股票分析的影响

宏观经济指标(如GDP增长、通胀率、利率)和中央银行政策对投资结果有重要影响,需与公司特定数据结合分析。专家分析和投资银行的研究报告提供对复杂宏观经济关系的解读,帮助识别潜在市场影响。将宏观层面背景与专家见解融入公司数据可提升模型的适应性,尤其在全球市场中。不同股票和行业对宏观经济力量的反应不同,例如美国对中国进口商品的关税影响特定行业。现有的定量和基于LLM的股票分析模型往往忽视宏观经济因素和专家解读,存在研究方法的不足。

方法

MarketSenseAI概览

MarketSenseAI框架是一个模块化系统,整合多种金融信息生成投资信号。主要包含五个LLM代理:

  • 新闻代理:汇总和简化相关股票新闻,形成持续更新的叙述。

  • 基本面代理:分析公司财务报表,提取关键财务指标,比较近期季度变化。

  • 动态代理:研究历史价格走势,结合风险指标评估股票表现。

  • 宏观经济代理:整合宏观经济报告,提供经济状况的简要概述。

  • 信号代理:整合前四个模块的输出,生成买入、持有或卖出的投资信号,并提供解释。

各组件可独立运行,支持信息源的灵活接入和数据更新。

增强的基本面分析

MarketSenseAI的基本面分析代理已增强,超越了财务报表的数字分析。新版本通过三步LLM流程处理10-Q和10-K文件中的披露、附注和战略见解。还分析了财报电话会议的定性内容,包括问答环节。这些改进提供了更深的上下文和透明度,捕捉前瞻性指导、管理层语气和战略展望。

定性和定量数据的三层集成方法

生成公司基本面总结的过程包括三个主要步骤:

  • 文件摘要:总结SEC文件中的信息,重点关注披露、风险因素和战略举措,以解释财务指标的波动原因。

  • 财报电话会议摘要:提取管理层的定性信号,如情绪、信心和前瞻性陈述,关注高管的语气、合作或产品发布讨论及宏观因素。

  • 基本面整合:将前两步的输出与最新五个季度的财务数据结合,提供一个连贯的叙述,既总结定量指标,又结合文件和电话会议的见解。

新版本的MarketSenseAI通过多阶段方法,确保捕捉公司财务健康的事实和解释性方面,能够突出利润波动的驱动因素、讨论新披露的风险及评估管理策略的潜在变化。

评估SEC文件和财报电话会议的影响

对1500个S&P500股票的生成摘要进行情感分析,使用FinBERT模型。纳入SEC文件和财报电话会议数据后,平均情感略微降低(Mean = 0.31),方差更小(Std Dev = 0.28)。仅基于数值数据的分析显示更积极的情感(Mean = 0.36,Std Dev = 0.40)。SEC文件要求公司披露风险和不确定性,提供更平衡的公司前景视角。文本数据的引入揭示了未被识别的风险或战略调整,平均差异为0.24,最大差异为0.96。

在MarketSenseAI中,约5%的投资信号因考虑文本信息而被降级或升级,显示定量与定性结合的重要性。更新后的基础代理能够整合领域特定文本,生成更具洞察力的分析,确保推荐基于更全面的公司理解。

宏观经济分析的改进

Macroeconomic Agent在MarketSenseAI中得到增强,能够处理更多机构报告。更新解决了LLMs的局限性,如上下文窗口限制、生成幻觉和过度简化。系统性整合来自权威来源的多样化宏观经济数据。提供更全面、丰富的分析,影响股票表现的因素。

数据注入

数据注入阶段旨在高效收集、处理和存储来自多个来源的宏观经济报告。主要来源包括中央银行(如美联储、欧洲央行)、统计局、国际货币基金组织(IMF)、国际清算银行(BIS)及全球投资银行(如摩根大通、黑石)的专家简报。实施了特定机构的解析脚本,以处理各来源报告的独特格式和结构,确保数据提取的一致性和准确性。

元数据的提取和过滤。解析文档后,识别关键属性如出版日期、出版商和URL,以确保文档来源并按时间顺序排列报告。使用LLM分类器判断文本是否与宏观经济分析相关,筛除无关文档(如营销宣传册)。

内容清洗和摘要。通过另一个LLM流程去除冗余文本,提炼文档核心见解。大文件(超过30页)分块处理,清理、总结后合并为精炼表示。该方法保留重要的宏观经济细节,避免超出LLM上下文限制。

存储和索引。清理后的内容和元数据被存储,同时更新查找表以维护处理文档的有序库存。对新报告进行语义分块,每个块嵌入并存储在向量数据库中,以便快速相似性检索。通过在自然边界(如章节末尾或经济主题变化处)进行分块,确保宏观经济信息的细粒度和语义一致性索引。

宏观经济数据生成

数据生成阶段将用户查询转化为宏观经济共识,通过从向量化知识库中检索、整合和综合相关信息。MarketSenseAI主要用于单只股票分析,但也支持更广泛的金融应用,如对话助手和专有研究分析。输入查询首先经过元数据过滤,按日期或来源缩小候选文档集。对于单只股票分析,采用HyDE方法处理固定查询,生成简洁的宏观经济见解。对于开放式或复杂查询,系统使用扩展嵌入和优化提示,生成多个查询变体以提高覆盖率。提取相关文本块后,使用宏观经济导向的提示引导LLM生成响应,确保适应不同需求。

检索性能评估

测试了三种检索方法(Simple、Optimized、HyDE)在不同块大小下对宏观经济查询的处理能力,评估了上下文回忆、上下文精确度、答案相关性和真实性。

上下文精确度在所有配置中均高(≥0.98),表明即使查询跨多个报告,相关块仍在前n个结果中。答案相关性变化最大,HyDE和Optimized通过增加上下文改善查询与块嵌入的对齐,特别适合需要多源信息的广泛提示。随着块大小增加,真实性(事实准确性)提高,复杂查询(如识别文档间矛盾观点)受益于更大块大小。Simple检索在回忆上偶尔表现良好,但在相关性上始终较弱,缺乏查询扩展和概念添加。

增加块数提升所有方法的性能,尤其对需要跨多个报告综合信息的问题有利。HyDE和Optimized方法在处理复杂查询和识别多样经济主题方面表现优越,适合宏观经济分析任务。

实验

数据

评估MarketSenseAI使用S&P 100和S&P 500股票,分析时间为2023年1月至2024年12月。S&P 100分析提供了两年在不同市场条件下的评估,S&P 500分析则扩展至2024年。输入数据包括股票特定数据(财务新闻、季度报表、SEC文件、财报电话会议记录、历史价格数据)和宏观经济数据(投资报告、中央银行出版物、专家分析等)。每月生成交易信号,以符合既定的投资组合再平衡实践。2024年S&P 500结果独立分析,以评估模型在更广泛市场中的通用性。

技术栈

GPT-4o模型是主要的LLM,用于模型推理,系统支持通过API集成其他模型。使用VectorBTPro进行投资组合分析和策略验证,考虑交易成本。评估RAG方法时,使用Ragas框架,选择GPT-4o-mini以提高成本效益,未影响方法相对比较。向量数据存储基于Pinecone,系统代理基于OpenAI客户端。RAG流程利用LlamaIndex框架,支持有效的检索和增强生成工作流。数据收集通过Selenium和BeautifulSoup抓取宏观经济报告,SEC文件通过EDGAR API获取,财报电话会议记录通过RapidAPI获取。

评估方法

评估MarketSenseAI信号质量,通过构建投资组合与基准比较。关注基于MarketSenseAI买入信号的长仓投资组合,分为等权重和市值加权两种形式。投资组合与相应的S&P 100或S&P 500基准进行比较,以评估信号的有效性。表4展示了评估的信号/策略及其基准,表5描述了使用的典型绩效和风险指标。

结果

评估MarketSenseAI在2023-2024年对S&P 100和2024年对S&P 500的股票选择能力。实证测试结果显示其能识别出表现优异的股票。该系统在不同的投资组合构建方法中生成了优越的风险调整回报。

整体表现

MarketSenseAI在S&P 100中选股实现125.9%累积回报,超越S&P 100的73.5%回报,且Sortino比率为4.43,高于基准的3.82。在2024年S&P 500中,选股回报25.8%,相较于S&P 500等权重的12.8%实现102%相对超额收益,Sortino比率从3.25提升至3.68。Alpha生成从S&P 100的8.0%提升至S&P 500的18.9%,显示出在更大市场中识别机会的能力。

尽管选取高波动股票,MarketSenseAI投资组合在市场压力期间快速恢复,最大回撤与基准相当。系统信号精度高,胜率77-78%,正Alpha为17.6-18.9%,Beta为1.24-1.27,表明成功识别高Beta股票。每月生成稳定信号,S&P 100平均35.1个买入信号,S&P 500为144.8个,显示系统化选择而非集中押注。

因素分析和风险分解

使用Carhart四因子和Fama-French五因子模型分解MarketSenseAI的超额收益(MS-Eq - S&P 100)。两个模型解释了大部分收益方差,R²分别为88.4%和85.4%。

市场敞口和规模偏差

MarketSenseAI的市场暴露接近中性(β = 0.95 – 0.96)。SMB系数为负(−0.13至−0.22,p < 0.01),表明倾向于大盘股,符合S&P 100/500指数。

价值和动量因子

两个模型均显示出一致的价值暴露(HML = 0.08 –0.11, p < 0.01),表明基础分析能够识别被低估的股票。Carhart模型的强动量加载(Mom = 0.18, p < 0.01)显示MarketSenseAI通过动态代理整合价格趋势,弥补了传统基本面模型的不足。价值与动量的协同作用与系统架构相符,LLM驱动的新闻情绪和价格动态增强了基本面洞察。

盈利能力与投资因素

五因子模型对盈利性(RMW)和投资(CMA)的加载不显著,表明这些传统风格因子在MarketSenseAI策略中作用有限。MarketSenseAI的收益不受传统因子溢价的系统性驱动。系统整合多种数据源,可能识别超越传统因子溢价的Alpha来源。

Alpha生成和无法解释的回报

分析显示显著的残余Alpha(+8.0%)和无法用传统风险因素解释的显著超额收益(12-15%)。结果表明,MarketSenseAI可能通过多种数据源(如新闻叙述、宏观经济背景和前瞻性披露)识别被传统因子模型忽视的特有机会,从而实现潜在价值生成。

总结

MarketSenseAI框架通过整合LLM代理和检索增强技术,实现了全面的股票分析,解决了上下文窗口限制、数据频率不匹配及定量与定性信息整合等关键挑战。引入Chain-of-Agents方法进行细致的基本面分析,并使用HyDE增强的RAG模块提供宏观经济背景,提升了对SEC文件、财报和专家报告的分析深度。

在2023-2024年S&P 100和2024年S&P 500股票的实证评估中,MarketSenseAI显示出显著的累积回报和一致的超额收益,超越了竞争基准。因子分析表明,回报不仅源于价值和动量因子的暴露,还来自独特的阿尔法来源,归因于框架的多元数据整合与分析能力。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值