LLM Agent之金融领域摸索：FinMem & FinAgent

最新推荐文章于 2024-10-11 19:01:38 发布

Llama-Turbo

最新推荐文章于 2024-10-11 19:01:38 发布

阅读量896

点赞数 16

文章标签：金融人工智能产品经理百度大模型 LLM

本文链接：https://blog.csdn.net/pythonhy/article/details/139234391

版权

本章介绍金融领域大模型智能体，并梳理金融LLM的相关资源。金融领域的大模型智能体当前集中在个股交易决策这个相对简单的场景，不需要考虑多资产组合的复杂场景。交易决策被简化成市场上各个信息，包括技术面，消息面，基本面等等在不同市场情况下，对资产价格变动正负面影响的综合判断。

而使用大模型智能体最显著的优势，在于对海量信息的高效处理，存储，以及对相关历史信息的联想。不要和Agent比知识广度和工作效率这一点已经是普遍共识。 下面我们看下这两篇论文使用了金融市场的哪些信息，分别是如何处理，思考并形成交易决策的。

FinMEM

FINMEM: A PERFORMANCE-ENHANCED LLM TRADING AGENT WITH LAYERED MEMORY AND CHARACTER DESIGN
github.com/pipiku915/F…

FinMeM是使用文本模态信息，通过差异化召回不同时效性，重要性，相关性的不同金融市场信息，通过微调让模型学习个股交易决策型Agent

1. Profiling

FinMem的Profile是交易Agent的全局指令类似system-prompt ，包含两个部分

金融市场专家知识：包括个股的基本信息例如行业，公司信息，历史股价走势等等
3种不同的风险偏好：保守，中性和激进，通过不同prompt，影响模型在不同信息下的交易决策以及论文提出可以动态转换风险偏好，例如开始亏损的时候可以转换成保守策略，哈哈虽然感觉这难道不是散户亏钱的常规逻辑，赚钱了激进，亏损了就保守~

2. Memory

虽然是叫记忆模块，但其实包含了信息收集入库，召回总结和反思的全部流程

Layered Long Term Memory：不同时效性的内容存储
Working Memory：多路内容召回，排序，总结和反思
- Summarization
- Observation
- Reflection

2.1 Layered Long Term Memory

上图中的Bottom部分就是Memroy真正的存储部分。这里论文只使用了金融市场里三种数据源

短时效（shallow Layer）：市场新闻
中时效（Intermediate Layer）：公司季报
长时效性（Deep Layer）：公司年报

在真实场景中其实划分远远不只这些，时效性从长到短还有例如研报，宏观数据，行业数据，路演会议，机构调研，公告，政策，快讯，各种市场面技术指标等等，复杂程度要高的多。因此个人感觉直接按照数据源来定义时效性可能更合适，毕竟不同数据源之间的时效性几乎都是不同的。

在召回以上不同时效性的内容时的打分排序策略借鉴了斯坦福小镇里面对于智能体相关记忆的召回策略（不熟悉的同学看这里LLM Agent之只有智能体的世界）。核心就是只基于相关性来进行记忆召回在时效性敏感的领域中是不可以的。因此召回内容的排序会基于多个因子进行打分，这里其实传统搜广推借助显式的反馈，排序做的更加复杂。这里因为相对缺乏显式的直接反馈，所以只用了相关性,新鲜度,重要性这三个打分维度进行加总。

其中新鲜度的计算会依赖于上面的时效性分层，不同分层的金融数据，会有不同的新鲜度计算公式。核心就是时效性更长，该信息对金融市场资产价格的影响持续时间更长，信息的时间敏感度更小，因此在计算新鲜度的时候它的指数衰减更慢。例如快讯可能当日就会时效，而年报效应可能持续好几个月。论文分别用了2周，季度和一年作为指数衰减的系数。

相关性这里用了text-embedding-ada-002计算cosine距离。而重要性论文同样做了不同系数的时间衰减，但系数vlv_lvl按不同分布随机采样的操作属实是没看懂，但是哈哈这些都是细节不重要，咱重点看框架，看框架~

2.2 Working Memory

**有了分层的信息存储，下一步就是在每一天进行交易决策的时候，进行一系列的信息召回、总结、分析的流程了。**这里我们使用论文中的例子在2023-01-24日交易TSLA，inquery=“Can you make an investment decision on TSLA on 1/24/2023”，之后的流程如下

summary：信息摘要和情绪分类

摘要会先基于inquery使用上面的打分排序逻辑，去存储中召回相关信息，并基于以下Prompt，对每条信息进行总结。输出是新闻总结和新闻对资产的[正面，负面，中性]的概率，概率加和为1，这里可以直接取logprobs进行归一化。单个人感觉直接使用概率最高的标签，同时丢弃熵值较高的新闻可能噪声更低一些。

Observation：市场观测和动量指标

这里论文只使用了个股的动量因子作为市场观测，也就是连续N天的累计涨跌幅。训练样本会给出未来一日动量，目的是让模型学习什么样的消息面情绪会带来未来的价格变动，而测试样本是历史3天的动量，目标是让模型预测未来的价格变动。个人感觉这里训练和测试其实应该对齐，也就是训练样本也提供历史3天的动量因子。这样在后面的反思中也会使用技术指标。

Reflection：反思

反思分成两个部分：

及时思考：基于上面的summray和observation，给出交易建议(Buy,sell,hold)，交易原因，和以上summary中具体哪条信息(ID)影响了模型决策。
延伸思考：基于最近M天的及时思考，决策后的收益，和股价走势，但我似乎没找到这部分的具体prompt…延伸反思的结果会存到Deep layer用于后面的交易决策

3. Decision

最终的交易决策会基于当前大模型的profile，Top-K的信息召回，历史累计收益，和延伸思考最终给出交易决策（Buy，SELL，HOLD）。而所谓的训练阶段，其实是依赖真实的资产价格变动，得到更准确的延伸思考（对交易决策的反思），在测试阶段可以使用训练阶段存储的历史思考结果。这部分感觉FinAgent的逻辑更清晰些，看迷糊的朋友可以看后面FinAgent的流程。

FinAgent

A Multimodal Foundation Agent for Financial Trading: Tool-Augmented, Diversified, and Generalist
只有论文无开源代码

FinAgent是加入了图片模态信息的个股交易决策型Agent，主要包括以下几个模块

Market Intelligence：市场信息收集和情绪识别汇总模块
Reflection：价格异动归因和历史交易决策归因模块
Decision Making：买卖交易决策模块
Memeory：用于存储以上模块的历史信息

FinAgent一定程度上参考了FinMeM，思路有些相似，不过Prompt输入输出的结构更加清晰和贴近真实市场，几个核心的差异点如下

FinAgent无需微调，直接使用GPT4和GPT4V
数据差异
- 加入了图片模态的信息，包括K线图和历史交易图
- 加入了更多的技术面指标相关交易策略
在时效性处理上，FinAgent使用大模型来对每个信息源的时效性进行判断
在召回排序上，FinAgent没有使用更复杂的打分排序，而是使用query改写，召回当前数据相关的历史数据，更遵从金融市场上历史会重演的基本逻辑。

1. Market Intelligence

MI模块是特定金融主体的信息收集，分析总结和情绪识别模块（类似FinMeM的summary，但加入了和历史信息的联动）。它分成了当日市场信息（Latest MI），和历史市场信息（Past MI）两个部分。前者反映了最新的资产异动，后者利用金融市场中历史会不断重演的特性。例如上次苹果产品发布，对APPL股价带来5%的提振，那如果今日舆情显示苹果又有新产品发布，那我们可能会预期有相似的正向影响。

首先是当日市场信息，主要做以下几件事情

获取资产当日（T）的资产价格，新闻舆情（通过FMPAPI接口）信息，拼接后作为大模型的上文，填充到下面latest_market_intelligence
Analysis：基于系统指令和任务描述，对以上所有信息进行COT分析，论文通过prompt给出了分析方式，简化成每条信息对资产价格的正面/负面/中性影响，以及短/中/长的影响时效性。
Summary：对以上Analysis的分析结果进行总结，只保留核心投资观点，并对上面相似的正负面和时效性进行聚合。
Query生成：基于以上的总结内容，生成短/中/长不同时效性的检索query(关键词),用于搜索该资产的历史信息。

这里论文使用了XML格式的prompt来承载各类信息，整个Lastest MI的Prompt如下，其中iframe会填充具体的系统指令，任务描述，如何分析资产正负面影响，如何进行分析总结和query生成，以及输出格式。iframe的具体内容实在是太长了，大家直接看论文附录G

其次是历史市场信息部分，主要做以下几件事情

基于上面的Query，去搜索该资产历史(<T)不同时间窗口的各类信息，包括但不限于：不同周期的资产价格变化，新闻舆情，研究报告等等
和上面当日市场信息相同，对信息进行分析和总结，不过不需要生成query了。

论文没有提供具体的数据，只给了大致的分析结果如下

2. Reflection

收集完信息，就进入了反思模块，也分成了两个阶段low-level和high-level。前者基于上面的Market Intelligence提供的舆情正负面影响和股价变动，对短/中/长期股价异动进行归因（类似FinMeM的及时分析）。后者基于Market Intelligence，历史和当前的low-level的反思，对交易决策进行归因（类似FinMeM的延伸思考）。论文只提供了简化后的效果如下

下面我们具体说下Low-Level和High-Level的输入输出

2.1 Low-Level Reflection

low-level的反思prompt的构成如下

1. 输入

以上Market Intelligence的总结，包括历史和当前舆情对资产正负面的影响
多模态K线图，以下是用来帮助模型理解K线图的Prompt指令

短/中/长期的价格走势变动描述，描述模板如下：

2. 输出

reason：分别对短/中/长期的资产价格变动进行归因，原因可以是Momentum等技术面原因，也可以是Market Intelligence中舆情带来的消息面原因
summary：对以上的分析进行总结，作为后面High-Level的输入
query：和上面Market Intelligence相同，生成召回Query，用于召回Memory中的相关历史Low-Level Reflection。

因为涉及到了K线图的多模态理解，这里论文使用了GPT-4V来完成以上prompt指令。具体Prompt指令，详见附录G。

2.2 High-Level Reflection

High Level的反思prompt构建如下

1. 输入

Market Intelligence: 同Low Level
Low Level Relection：包括最新的Low-Level反思，和使用以上Low-Level query召回的历史Low-Level对于该资产价格变动的反思
多模态TradingChart，以下是用来帮助模型理解图片的prompt指令：交易图包括价格趋势图，和历史买入和卖出的时间点。

2. 输出

reasoing：基于MI，Low-Level，价格变动，分析历史每一笔交易决策是否正确（带来收益），以及在各个时间点，影响交易决策因素有哪些，权重如何
improvement: 如果存在错误的交易决策，应该如何改进，并给出新的买卖时间点，例如 (2023-01-03: HOLD to BUY)
summary: 对以上分析进行总结
query：同样生成query用于召回历史high-level

3. Decision-making

最后的决策模块，基于以上三个模块的输入和额外的技术指标，分析师观点等补充信息，进行交易决策。Prompt构建如下

1. 输入

Market Intelligence
Low Level Reflection
High Level Reflection：包括最新的交易反思和历史的交易反思
Augmented Tools：这里论文使用工具补充获取了以下信息
- Expert guidance：论文似乎未说明专家信息来源，只说是类似文章的数据源。猜测可能是买方买方观点，例如XX股买入推荐一类
- strategy：传统技术面交易策略，类似啥MACD穿越，KDJ金叉，这里论文通过工具调用获取证券的MACH，KDJ和均值回归等技术指标，指标相关描述如下

prompt: 告诉模型如何利用以上的各个输入信息，来给出交易决策。

2. 输出

analysis：step-by-step的分析以上各个信息输入的综合影响
reasoning：针对以上分析给出买卖操作的原因
action：基于分析原因给出交易行为，BUY，SELL，HOLD

4. 效果

最后说下效果评估，这里论文使用个股交易的累计收益率作为评价指标，对比基于技术指标的规则交易，基于RL的方案，以及上面的FinMem，在年化收益率，夏普比率上均有显著提升，在最大回撤上基本持平。

同时论文进行了消融实验，对比只使用M（MI市场信息），只使用T(Tools买卖方观点+技术面），和加入反思，加入交易决策的效果。数据就比较有意思了，只使用M和T的效果竟然差不多，核心提升来自反思模块。不过这里结论和市场有很大关系，哈哈美国市场的实验结论没有直接迁移到A股的可能~

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍