“AAPM: Large Language Model Agent-based Asset Pricing Models”
论文地址:https://arxiv.org/pdf/2409.17266v1
Github地址:https://github.com/chengjunyan1/AAPM
摘要
本文提出了基于LLM代理的资产定价模型(AAPM),结合定性投资分析与定量金融经济因素,预测超额资产收益。实验结果显示,该方法在投资组合优化和资产定价误差上优于机器学习基线,夏普比率和异常投资组合的平均|α|分别提高9.6%和10.8%。
简介
金融资产定价对资本配置的帕累托效率有重要影响,传统方法依赖宏观经济和公司特定因素预测超额收益,但面临有效市场假说的挑战。语言数据在传统投资中至关重要,因其反映社会和市场信息流动,且主观投资管理仍然重要。定性分析能揭示经济指标和市场数据中缺失的定价洞察,但现有的NLP和语义分析方法未能完全捕捉这些洞察。融合语言信息与定量模型的复杂性在于需要金融推理和长期事件记忆,且模型设计不当可能导致噪声。
本文提出了基于LLM代理的资产定价模型(AAPM),结合了定性投资分析和定量因子方法。LLM代理通过分析最新新闻和历史分析报告,生成分析报告以预测未来超额资产收益。实验结果显示,AAPM在夏普比率上提高了9.6%,在资产定价误差的平均|α|上提高了10.8%。主要贡献包括:引入LLM代理架构、提出混合资产定价框架、进行全面实验评估。
相关工作
证券资产定价
资产定价旨在寻找金融资产的公平价格,CAPM模型由Sharpe于1964年提出,将资产的预期回报分解为市场回报的线性函数。Merton(1973)将财富纳入状态变量,Lucas Jr(1978)考虑消费风险作为定价因素。单因子CAPM扩展为多因子模型,Fama和French(1992)提出3因子模型,后修订为5因子模型(2015)。Carhart(1997)增加了动量因子,Ross(1976)提出无套利的套利定价理论(APT)。随机贴现因子(SDF)通过随机定价核计算未来现金流的现值(Cochrane, 2009)。
金融机器学习
机器学习技术用于探索“因子动物园”的非线性互动(Feng et al., 2020)。Kelly et al. (2020) 提出了工具主成分分析(IPCA)来估计潜在因子及其载荷。Gu et al. (2020) 使用深度神经网络建模互动。Gu et al. (2021) 提出条件自编码器,考虑潜在因子和资产特征作为协变量。Chen et al. (2024) 利用生成对抗网络训练神经SDF。Bybee et al. (2021) 分析《华尔街日报》以评估经济状态,Bybee et al. (2023) 建议使用LDA分析新闻主题作为定价因子。最近的NLP方法(Xu和Cohen, 2018;Xie et al., 2022)用于预测股票走势,但不寻求解释超额收益的可解释因子。我们的LLM基础方法通过分析报告提供替代解释。
大型语言模型代理
LLM代理具备推理、规划和工具使用等强大能力,核心在于提示编程。
提示策略包括:
-
Chain-of-Thoughts (CoT):逐步推理。
-
ReAct提示:基于先前结果优化输出,使用外部工具。
记忆是LLM代理的重要组成部分:
-
数据库作为符号记忆。
-
对话存储于长短期记忆中。
Cheng和Chin(2024)开发的代理可基于输入信息和知识库进行投资决策,结合定性与定量资产定价。
方法
给定状态向量V ta、预测资产a在时间点t的超额收益r ta,基于市场、社会和资产状态。传统因子模型使用手动提取的经济指标和市场数据构建状态向量V ta。
Bybee 等(2021, 2023)提出商业新闻可作为宏观经济条件的替代表示,利用 LDA 提取新闻特征作为定价预测因子。使用分析报告的平均嵌入作为社会、经济和市场状态的代理。主要媒体的商业新闻提供重要市场信息,但通常限制解读,需进行自主分析。商业事件相互关联,长期事件(如美联储加息、COVID、通胀担忧)对市场影响显著。
本文引入 AAPM,利用具有长期记忆的 LLM 代理分析新闻并生成分析报告。将定性分析报告与定量手动因子结合,输入混合资产定价网络。
使用LLM代理进行分析****
代理利用最新新闻和宏观经济笔记生成分析报告,笔记由GPT-3.5-Turbo1106初始化,提供宏观经济背景。笔记在每次生成报告后更新,记录投资想法和市场趋势,确保信息持续更新且不泄露。数据集从知识截止日期后开始,确保包含最新信息。
生成精炼新闻摘要x’ t以控制输入长度和格式。将x’ t和备注n t结合形成输入 I t。代理判断新闻是否包含投资信息,若无则跳过;若有,生成初步分析报 R t0。报告经过N轮迭代精炼,每轮使用外部记忆M t查询。使用 BGE 嵌入模型将文本映射为向量进行查询,检索最相关的K项。每轮生成的报告R ti逐步精炼,最终报告R t更新备注n t’并插入记忆M t’。定价网络利用所有过滤新闻的分析报告进行定价。
混合资产定价网络
使用嵌入模型将PN报告转化为嵌入,计算每日平均嵌入以捕捉经济市场状况。采用滑动窗口方法生成平滑的每日嵌入,使用指数衰减核来加权最近几天的嵌入。通过连接平滑状态和手动构建的金融经济因素向量形成混合状态。资产特定的混合状态通过查找资产嵌入并与下采样混合状态连接得到。预测下一天的超额收益使用多层全连接预测网络,训练目标为最小化预测收益与真实收益之间的均方误差。模型在训练前期利用历史因子数据进行预训练,使用占位符嵌入。
实验
实验设置
数据集包含2021年9月29日至2023年9月29日的WSJ文章,避免信息泄露,排除与旅行、生活方式和谜题无关的文章。每日资产收益来自CRSP,风险-free收益和市场收益来自Kenneth French的数据。按照Jensen等(2023)构建金融经济因子,处理因子更新频率不一致的问题。使用交叉截面的中位数填补缺失数据。使用前9个月为训练集,接下来的3个月为验证集,最后1年为测试集。
选取五个近期资产定价基准模型,来自高水平金融经济学期刊,符合当前实证金融标准。基准模型包括:
-
NN (Gu et al., 2020):深度神经网络用于资产定价。
-
IPCA (Kelly et al., 2020):工具主成分分析识别隐含因子。
-
CA (Gu et al., 2021):条件自编码器。
-
NF (Bybee et al., 2023):使用LDA分析WSJ新闻作为隐含因子。
-
CPZ (Chen et al., 2024):利用GAN处理随机贴现因子。
复制这些模型并使用其论文中的配置和因子集。对所有模型进行超参数搜索以比较最佳结果。
投资组合优化
测试投资组合的夏普比率(SR),公式为,评估风险调整后的表现。评估最大回撤(MDD),公式为
。
三种投资组合构建方法:
-
切点投资组合(TP):基于预测超额收益计算资产权重,理论上适用于无交易摩擦的市场。
-
长短头寸十位组合:按预期收益排名,做多前十位,做空后十位。
-
资产加权方式:可选择“等权重”(EW)或“市值加权”(VW)。
我们的方法在三个投资组合中实现了最高的夏普比率(SR),分别提高了6.8%、8.9%和13.2%,平均提升9.6%。在TP和EW组合中,获得了最佳或第二最佳的最大回撤(MDD),分别提升2.9%和2.3%。VW组合的MDD较最佳基线CA低10.9%。用GPT-4-0613替代GPT-3.5后,SR分别提升8.5%、13.6%和16.2%,MDD提升1.3%、3.5%,但下降-2.4%
资产定价误差
采用Bybee等(2023)的方法,分析78个异常投资组合的资产定价误差,使用78种特征构建组合。计算平均绝对阿尔法(avg.|α|),通过归一化处理以应对组合间收益差异。
统计显著性分析。计算平均t值及超过1.96的t值比例,进行Gibbons, Ross, and Shanken(GRS)检验。本方法表现优异,GPT-3.5和GPT-4相较于CPZ分别减少10.8%和13.5%的平均|α|,t值提升1.6%和3.3%。GRS检验结果较IPCA提升0.6%和1.6%。对十分位组合进行定价,结果显示各分位组合的超额收益排名清晰,表明方法有效预测收益。
消融分析
进行消融研究,评估不同模块对代理设计的影响。评估各模块性能,分析架构的深度和宽度。从“Naive”代理开始,直接从精炼新闻生成分析报告,定价网络仅使用每日嵌入作为输入。逐步添加组件,构建更强的基线,最终达到我们的方法。
代理体系结构设计
与NF基线(使用33年WSJ新闻)相比,我们仅使用2年新闻数据。
-
“Naive”基线。SR提升2.2%,定价误差与NF相当。
-
外部记忆。SR再提升4.3%,平均|α|降低5.7%,强调上下文信息的重要性。
-
资产嵌入。SR增加2.1%,平均|α|减少2.3%。
-
“Memory”基线。SR较“Naive”提升6.0%,平均|α|降低8.0%。
-
手动因素。SR轻微增加1.3%,平均|α|减少2.5%;NF引入手动因素后表现下降。
-
“Hybrid”基线。SR提升5.0%,平均|α|降低9.9%,显示手动因素与LLM报告的协同效应。
-
迭代优化。相较“Hybrid”基线,SR提升4.8%,平均|α|降低9.6%,验证了代理架构设计的有效性。
分析深度和宽度
分析深度由迭代次数N控制,宽度由相关信息量K决定。实验结果显示,增加分析轮次和相关信息量整体上有益,但在K × N = 15后边际收益急剧下降,表明信息已足够。极端情况下,N=1且K=15时,SR降至3.12,说明迭代精炼是必要的。不同轮次的检索提供多样信息,而单次检索则可能导致主题集中,额外信息价值迅速降低并可能引入噪声。
总结
AAPM模型结合了LLM代理的定性分析与资产定价的定量因素。AAPM在投资组合优化和资产定价误差等评估中超越了传统资产定价方法。对代理设计的各个组件进行了深入分析。研究旨在提升对自由裁量投资与定量因子模型之间互动的理解,促进经济效率。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。