Paper Reading | ATA: 大模型在股票交易中更擅长利用图片信息，代码开源

本文链接：https://blog.csdn.net/m0_59164520/article/details/146184293

论文链接：https://arxiv.org/pdf/2502.17967v1

代码链接：https://github.com/wekjsdvnm/Agent-Trading-Arena.git

“ 大模型（LLMs）在自然语言处理任务上表现优异，但在数值推理的泛化能力上仍面临挑战。现有的基准测试主要评估预定义最优解的问题，与现实场景不符。本文设计了agent交易竞技场（Agent Trading Arena），通过零和游戏模拟复杂经济系统。实验发现LLMs处理纯文本股票数据时代数推理能力弱，而处理可视化数据（如散点图或K线图）时几何推理能力显著更好，反思模块能进一步提升这种能力。在纳斯达克股票数据集上验证了结果，表明LLMs对视觉数据的推理能力强于文本数据。”

01.背景

LLMs在多种自然语言处理任务中取得了最先进的结果，但在数值和几何推理方面的进一步提升对解决复杂跨学科挑战至关重要。现有的数学基准测试虽有助于评估和改进LLMs的数学解题能力，但存在局限性，主要评估模型熟悉的问题，难以确定LLMs是否真正具备对新数值数据的推理能力。需要新的评估范式来评估LLMs推广到未见过场景的能力。

02.问题定义

评估LLMs在动态、未见过的数值推理任务中的能力，特别是在与现实更接近的金融场景下，探究LLMs在代数推理（处理文本数值数据）和几何推理（处理可视化数值数据）方面的表现差异。

03.方法

3.1 agent交易竞技场（Agent Trading Arena）

结构：如下图是一个闭环经济系统，为零和游戏。资产价格由买卖报价系统决定，引入股息机制（包括资产价格差的资本收益和持有资产的股息），同时agent需支付与总财富成比例每天的资本成本，以刺激市场活动并确保游戏公平性。

agent学习与竞争：零和游戏结构消除了通用最优策略的可能性，agent在不知隐含规则下，通过体验式学习来解读隐藏游戏规则以获胜，需要理解数值反馈、制定策略并做出决策。

3.2 数值数据输入类型

文本数值数据的局限性：在ATA中，LLMs直接处理数值格式的股票数据时存在困难，转换为文本格式后仍有局限。LLMs往往过度关注特定值，难以识别长期趋势、全局模式、理解相关关系和百分比变化，还会过度强调近期数据而忽视历史信息。

可视化数值数据的潜力：从文本数值数据输入转换为可视化格式（如散点图、折线图和柱状图），可视化表示有助于LLMs更好地理解整体趋势、模式和关系，克服处理时间序列数据关系时的挑战。

反思模块：采用一种策略蒸馏方法，分析描述性文本和可视化数值数据以提供实时反馈，生成新策略并优化行动计划。过程包括评估日轨迹记忆和相关策略，通过对比分析绩效最佳和最差者创建双向学习信号，迭代循环以不断进化策略。在agent交易竞技场中定期触发，记录每日交易，评估策略有效性，存储无效策略以供参考。

04.实验

4.1 实验设置

数据集：开发了agent交易竞技场作为控制环境，部署至少九个agent和三种股票，所有agent初始资本相同。还选择了纳斯达克股票数据集的一个子集用于投资组合投资。

评估指标：包括总回报（TR）、胜率（WR）、夏普比率（SR）、平均日回报（Mean）、日回报标准差（Std）。

4.2 对比实验

文本或可视化输入试验：将文本数值输入转换为可视化格式（如K线图、交易历史和交易量）进行实验。在不同的LLMs中，有可视化数值输入的agent表现优于仅有文本输入的agent，同时接收文本和可视化输入的agent性能最佳。

反思与文本或可视化输入试验：引入反思模块后，有反思模块的仅文本LLMs回报增强，结合两种输入类型比仅用文本输入回报更高。在总回报和夏普比率方面，有反思模块的LLMs在可视化输入时改进最大，进一步扩大了LLMs在视觉几何推理和文本数值代数推理能力之间的差距。

纳斯达克股票数据集模拟：进行了为期两个月的投资模拟，初始资本为10万单位。结果显示，尽管其他模型（如StockFormer和TimesNet）有更长的训练期和更大的数据集，但本文模型表现更优。有文本和视觉输入的agent在夏普比率上分别优于纳斯达克-100和标普500指数。

4.3 消融实验

模态对LLM性能的影响：采用相对评估方法，结果表明DeepSeek在不同LLM环境中表现出更强的性能。

不同LLMs之间的对比（有反思）：进行消融研究，结果显示在有反思的对比中，GPT-4o和Qwen-2.5优于其他模型。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述