前言
在大语言模型迅猛发展的今天,我们亲眼见证了它在多个行业掀起的变革浪潮。无论是大型企业还是初创团队,都在基于大模型的强大能力构建各种创新应用。然而,认为大语言模型“无所不能”并不科学。我们需要以第一性原理来评估它在特定应用场景投入是否合理。经过客观地分析,编者认为支持大模型在量化投资领域应用的合理性的原因有以下几点:
大语言模型有强大的市场情绪捕捉能力
大模型的语言理解能力使其能够挖掘市场情绪,这是其在量化投资中的一大优势。行为金融学认为,股票价格波动往往受投资者情绪驱动,而情绪并不总能通过传统的量价数据直接反映。随着社交媒体的普及,承载市场情绪的文本信息大量涌现,大模型可以通过分析这些数据,从中提炼出潜在的价格波动信号。
大语言模型有较强的推理分析能力
大模型不仅具备强大的语言理解能力,还展现出出色的推理和分析能力。这种能力在量化投资中尤为重要,因为市场行为往往复杂多变,无法仅通过直接数据来简单预测。通过自监督学习,大模型能够自动从海量数据中发现潜在的模式和逻辑关系;在反思机制的支持下,它可以对错误预测进行自我分析和总结,进一步优化未来的判断。尤其是在归因分析方面,大模型能从过去的市场表现中找到影响走势的潜在因果关系,帮助量化投资策略的制定更加合理且有据可循。
大语言模型有卓越的实时批量处理数据的能力
大模型能够实现对海量数据的实时批量处理,这在现代投资环境中至关重要。每天市场都会产生大量新闻和社交媒体内容,即使分析师具备很强的理解能力,也难以在短时间内实时处理这些纷繁复杂的信息。然而,大模型不仅能快速分析,还可以高效地并行处理多条新闻和社交媒体内容,为投资决策提供及时的情绪和市场动态解读,从而实现前所未有的信息处理速度和规模。这使得它在量化投资中成为不可或缺的工具。
我们从以下几个话题来谈一谈大语言模型在量化交易领域中的应用:
ChatGPT在量化交易上的牛刀小试
在学界第一批探究大语言模型在量化领域中的潜质的包括来自佛罗里达大学的Lopez-Lira 教授的团队[Lopez-Lira et al, 2023] 。在此篇论文中,作者用13万条左右的关于美国上市公司的新闻标题,使用ChatGPT为这些新闻标题打分。与大语言模型交互的提示如下:
“忘记所有之前的指示。假装你是一个金融专家,有股票推荐经验。若是利好消息,回答“是”;若是利空消息,回答“否”;若不确定,回答“不确定”
基于ChatGPT为新闻标题情感打分而选择股票做日频调仓,净值变化如图1。在此图中,作者列举了不同手续费费率情况下回测中净值的变化情况,我们可以看出,即便在拟真度很高的20 bp手续费的情况下,此情感因子也能达到在两年间将初始资金翻倍的效益。
图1:ChatGPT情感分析建仓不同手续费净值变化图
我们描述的过程偏向工程应用。为了进一步证明ChatGPT生成的情感因子与收益的拟合有效性,或换句话说,确保这不是特定时间段和特定股票上的偶然现象,需要从统计学角度验证实验结果的统计显著性。[Lopez-Lira et al, 2023]作者用了一个直接的线性回归方法进行此验证。在实验数据上,设股票 从 到 的隔日收益为 。 分别为描述股票特征和描述当前时间点特征的因子, 为该股票在该时间点上的ChatGPT情感打分因子。为残差项。为可学习的权重。拟合公式如下:
经训练后发现,ChatGPT情感因子的权重为 0.173(有7.129的t-stat值),较高的t-stat值表明我们可以有较高的置信度认为该情感因子的系数显著不同于零,即情感因子的作用并非偶然。此结果说明ChatGPT情感因子的贡献有统计显著性,并能带来传统因子无法描述的信息维度。
大模型充当多元化的投资分析团队
在上一个话题中,我们探讨了基于新闻信息由 ChatGPT 构建的情感因子在收益分析中的表现。然而,在实际投资分析场景中,新闻仅是信息来源的一部分。MakeSenseAI[Fatouros et al, 2024]团队在其科研论文中提出了一种更全面的分析方法:ChatGPT 不仅只分析新闻,还充当多个特定信息领域的 agent,每个 agent 负责分析不同类型的数据,最终整合出可解释的交易信号和决策。这种方法高度仿真了投资机构的实际运作模式。
MakeSenseAI 模型引入了四大信息板块:基本面信息、宏观经济信息、实时滚动新闻摘要以及股价变动数据。每个板块都由一个 ChatGPT agent 专门负责分析。基本面信息主要来自上市公司每季度披露的财报,宏观经济信息则基于公开的研报数据。负责实时滚动新闻分析的 agent 工作流程如图:
图2:MakeSenseAI模型中负责滚动新闻分析板块LLM agent工作流程
该agent会持续获取最新新闻,不断分析总结,构建以月为单位的公司“故事线”,从而为下一个交易截面的投资决策提供依据。
负责分析量价变动信息板块的agent 工作流程如图3:
图3:MakeSenseAI模型中负责量价分析板块LLM agent工作流程
对于上市公司,获取固定时间窗口内波动率、收益表现,最大回撤,夏普比率的变动,以及与该公司最相近的5家公司这些因子的变动。值得一提的是,作者使用MPNet[Song et al, 2020],将上市公司的描述作为输入,获取上市公司的矢量化嵌入,用矢量之间的相似度计算哪5家公司为该公司最“相近的”公司。这种方法不仅提升了对公司间关系的量化精度,还提供了在同类公司 背景下更全面的对比分析基础。
在最后,大语言模型整合每个板块的信息,分析、推理并使用逻辑链[Wei et al, 2022]技术逐步给出投资决策。在这个模型中,最终对于个股的投资决策可以概念化成一个以个股新闻, 个股基本面信息, 个股价格波动信息以及宏观经济信息为参数的函数
经回测后,MakeSenseAI投资决策表现相较于S&P基准表现如图:
图4:MakeSenseAI回测表现
据作者表述,基于MakeSenseAI的多空策略再回测阶段内可达到32.94%(扣除手续费后)的收益率,以及2.49的夏普比率。
大模型基于社媒数据的自监督微调
基于社交媒体数据的大模型分析并构建投资策略的代表作之一为来自新加坡国立大学的团队的[Koa et al, 2024]。该研究在肯定大模型文本分析潜力的同时,提出了一个关键问题:尽管大模型具备强大的语义分析能力,但在股价涨跌的背景下,进行社交媒体与股价关联性的分析未必最为准确。为增强这一能力,许多学者自然而然地联想到微调。然而,如何建立最有效的微调流程和框架呢?对此,作者提出了一个解决方案。作者将整个基于社媒数据分析产生投资策略的过程分为三个板块,分别为:文本总结、原因反思、预测生成。这三个板块合并一起的模型被作者称为SEP (Summarize-Explain-Predict),其流程图如下:
图5:SEP的整体框架
众所周知,社交媒体上的信息往往纷繁杂乱,要有效提炼出关于上市公司的有价值讨论,作者首先通过文本总结模块将信息密度较低的社媒数据转化为精炼的内容,以便后续模块的处理。在文本总结中,作者运用了情景上下文学习(in-context learning[Dong et al, 2022])的方法:先将两个事先构建的总结例子作为提示给大模型,指导其以相同的格式对新的社媒数据进行总结。
在原因反思模块中,大模型输入的是先前总结出的关于上市公司在一定历史窗口内的社媒信息,以此进行未来股价涨跌的预测。该预测不仅包含一个二元的涨跌方向判断,还附带一段解释,说明判断方向的原因。接着,将预测方向与真实历史走势进行比较,提取预测错误的案例,让大模型进一步反思并总结出误判的原因,从而不断优化其未来的判断准确率。
图6:原因反思模块工作流程
在预测模块中,作者的目标是通过对大语言模型(LLM)进行微调,使其能够在未见过的测试数据中生成可靠的股票预测和解释。微调过程沿袭了人类反馈强化学习[Ouyang et al, 2022]的范式,分为三个步骤:首先,作者从初始模型的正确预测中收集示例数据,这些数据没有“错误”反馈,用于训练模型的基础预测能力。接着,作者从模型的反思过程中收集了对比数据,包括从上游模块中提取出的正确和错误的回答对比。这些数据用于训练奖励模型,帮助模型学会区分“好”的预测和“不好”的预测。最后一步,作者用奖励模型进一步优化预测能力,使得模型的预测尽可能符合“好”预测的标准,同时包含一个平衡项,以确保模型不会偏向极端答案,保持与初始模型相似的输出风格。通过这三个步骤的微调,模型能够在预测时更准确地反映股票市场的波动趋势,并提供合理的解释。
在股价涨跌预测上,SEP模型与其它基准深度学习模型和大语言模型对比如下(Top 1 Stock 含义为对比实验的股票池由各行业表现最好1支股票组成):
表1:SEP与其它基准深度学习和大语言模型在股价预测任务上表现
可以看到,预测方向的准确度SEP模型高于其它基准模型。在微调结束后,作者还让SEP模型直接输出根据分析得出的股票投资配比,并针对为什么生成某种投资配比给予解释,按照SEP模型的建议调仓,回测结果如下:
表2:SEP与其它基准深度学习和大语言模型在回测上表现
可以看出,SEP在收益和夏普等指标上都领先于基准对比模型。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。