写在前面
KDD全称“国际数据挖掘与知识发现大会”(Knowledge Discovery and Data Mining),是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议。Research Track 共收到 2046 篇论文投稿,Applied Data Science Track 共接收 738 篇投稿,接收率为 20%。本文介绍了KDD 2024 中收录的几篇量化交易相关的论文。
论文链接:
https://dl.acm.org/doi/abs/10.1145/3637528.3671801
研究内容:
金融交易是市场的重要组成部分,涉及到包括新闻、价格和K线图在内的多模态信息,涵盖量化交易和高频交易等多种任务。尽管深度学习和强化学习等先进的人工智能技术在金融领域得到广泛应用,它们在金融交易任务中的应用常常因为对多模态数据处理不足以及在不同任务之间的泛化能力有限而面临挑战。为了解决这些问题,作者提出了一个名为FinAgent的金融交易多模态基础代理,它通过工具增强的方式进行金融交易。FinAgent的市场情报模块处理各种数据——包括数值、文本和视觉数据,以精确分析金融市场。其独特的双层反思模块不仅能够快速适应市场动态,还通过多样化的记忆检索系统增强了代理从历史数据中学习并改进决策过程的能力。FinAgent特别注重行为推理,这增强了其金融决策的可信度。此外,FinAgent整合了成熟的交易策略和专家洞见,确保其交易方法既数据驱动,又以稳健的金融原则为基础。通过在6个金融数据集上的综合实验,包括股票和加密货币,FinAgent在6个金融指标上显著超越了12种最先进的基准方法,平均利润提高了36%以上。在其中一个数据集上,FinAgent实现了92.27%的收益(相对提高84.39%)。值得注意的是,FinAgent是第一个专为金融交易任务设计的先进多模态基础代理。
模型框架
实验结果
论文标题:
FNSPID: A Comprehensive Financial News Dataset in Time Series
作者单位:
北卡罗来纳州立大学
论文链接:
https://dl.acm.org/doi/abs/10.1145/3637528.3671629
研究内容:
金融市场预测利用历史数据预测未来的股票价格和市场趋势。传统上,这些预测依赖于对定量因素(如股票价格、交易量、通胀率和工业生产变动)的统计分析。金融预测尝试整合情感数据(特别是市场新闻)和数字因素进行综合金融分析,但此方法因缺乏能融合定量和定性分析的广泛数据集而频繁面临限制。为解决这一挑战,作者介绍了一个大规模金融数据集,即金融新闻与股价整合数据集(FNSPID)。它包含从1999年到2023年为止,4,775家标普500公司的2970万条股价和1570万条时间对齐的金融新闻记录,这些记录来自四个股票市场新闻网站。作者展示FNSPID在规模和多样性上优于现有市场数据集,并且独特地融入了情感信息。通过对FNSPID进行的金融分析实验,作者提出:(1)数据集的规模和质量显著提升市场预测的准确性;(2)添加情感分数适度提升了基于Transformer模型的性能;(3)一个可重复使用的程序更新数据集。FNSPID为金融研究社区提供了前所未有的机会,推动预测建模和分析的进步。
模型框架
论文标题:
FreQuant: A Reinforcement-Learning based Adaptive Portfolio Optimization with Multi-frequency Decomposition
作者单位:
首尔国立大学
论文链接:
https://dl.acm.org/doi/abs/10.1145/3637528.3671668
研究内容:
投资组合优化是金融领域的核心研究领域,旨在识别最佳投资组合配置以最大化回报。有效的投资组合管理需要在复杂市场条件下做出决策。因此,迫切需要开发能够提供稳健和优越回报的方法。近期研究显示,深度学习和强化学习在投资组合优化中表现出色,能够捕捉资产的时序模式。然而,主要面临的挑战是如何在给定交易时刻对资产进行建模。市场的动态性包括复杂因素,难以准确确定哪些因素对资产行为影响最大。为解决这些问题,作者探索了多种方法,例如考虑资产间的相关信息或使用注意力机制的循环网络。这些方法在时域中分析资产的复杂信号,以识别隐含的时序模式。然而,这些以时域为中心的模型往往隐含地平滑时序变化,过分强调常见模式,偏好连续趋势而忽视突发事件,将其视为异常或离群值,因此可能忽视关键市场转变。因此,挑战在于开发既能保持对持续趋势的敏感性,又能迅速响应突发转变的模型。为应对这一挑战,作者将分析转移到频率域,使模型能够辨识普遍趋势和突发偏差。为此,作者使用离散傅里叶变换,将时域信号转换为频率域特征,反映周期模式的强度和时间。显然,常见模式与低频特征相关,而快速转变则通过高频特征捕捉。这种区分有助于模型直接识别和处理与常见和突发转变相关的特征。作者提出FreQuant(通过多频率定量分析的自适应投资组合优化),这是一个新颖的深度强化学习框架,用于自适应投资组合优化,管理信号中的常见和突发模式,从而增强稳定性和对市场变化的响应能力。FreQuant完全在频率域运作,保留关键频率属性,直接关联到周期模式的强度和时间。
模型框架
实验结果
论文标题:
MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading
作者单位:
南洋理工大学
论文链接:
https://dl.acm.org/doi/abs/10.1145/3637528.3672064
研究内容:
执行算法交易的高频交易(HFT),在短时间尺度上操作,最近已在加密货币市场占据了多数。除了传统的定量交易方法,强化学习(RL)因其处理高维金融数据和解决复杂序列决策问题的出色能力而成为另一种吸引人的方法,例如,层次化强化学习(HRL)在通过训练一个路由器从代理池中选择单一子代理来执行当前交易的第二级HFT中展示了其优异的表现。然而,现有的HFT用RL方法仍存在一些缺陷:1) 标准的基于RL的交易代理由于过拟合问题,阻碍了它们根据金融环境进行策略调整;2) 由于市场条件的快速变化,个别代理作出的投资决策通常是单方面的且高度偏见,这可能在极端市场中导致重大损失。为了解决这些问题,作者提出了一种新的记忆增强的情境感知强化学习方法用于HFT,即MacroHFT,它包括两个训练阶段:1) 首先训练多种类型的子代理,这些子代理的市场数据根据不同的财经指标进行分解,每个代理都有一个条件适配器来根据市场条件调整其交易政策;2) 然后训练一个超级代理来混合这些子代理的决策,并输出一个以应对快速市场波动的持续盈利的元策略,配备一个记忆机制来增强代理的决策制定能力。实验结果显示MacroHFT可以在分钟级交易任务上达到行业领先水平。
模型框架
实验结果
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。