金融行业的开源AI大模型

大家经常把通用大模型比喻为高考前的学生，智商似乎达到了巅峰，天文地理历史生物无所不知，但是对某个行业的真实运作缺乏一定的了解。而行业大模型，就像专业的本科生、研究生、博士生或者是行业从业人员，对自己领域的知识能够快速理解，对业务能够迅速处理。行业大模型的训练过程，跟读书的过程很像，先获得通用知识并具备一定的逻辑推理能力，再到某个行业里进行”微调“深造。

BloombergGPT等金融机构发布的大模型，利用其对专业数据的独家访问来训练特定于金融的语言模型。然而，模型的数据收集和训练协议的可访问性和透明度受到限制，也有着密集的计算需求并产生高昂的适应成本，这加剧了对更开放和包容的替代方案的需求。

金融领域有大量的公开信息，例如上市企业年报，地区和国家的经济数据，公开市场的交易信息，这些高质量的数据非常有利于行业大模型的训练。因为受到监管的约束，大型金融机构的产品和运作模式也会比较趋同，一套通用的开源大模型也许可以覆盖不同机构90%的需求。

许多企业和研究机构开始推动开源金融大模型的发展，不仅仅提供开源的模型参数，有的项目还提供了训练的数据和测评的基准，降低了金融大模型开发的成本和门槛，使更多人能够利用这些模型进行金融分析、情感分析和预测等。

今天来介绍下金融行业中的开源AI大模型项目。

• FinGPT

介绍：

FinGPT项目由AI4Finance-Foundation开发，是一个开源的金融大型语言模型（FinLLM），旨在开源领域实现互联网规模的金融数据民主化。哥伦比亚大学的Hongyang (Bruce) Yang等在FinGPT: Open-Source Financial Large Language Models一文中介绍了该框架的内容。

与专有模型不同，FinGPT代表了一个创新的开源框架，采用以数据为中心的方法，专门为在金融领域应用大语言模型（LLMs）而设计。该项目通过五层全栈框架提供综合的市场覆盖，包括数据源层、数据工程层、LLMs层、任务层和应用层，旨在解决金融数据的高时效性和低信噪比问题。这些组件在维护FinGPT在处理动态金融数据和市场条件方面的功能和适应性方面发挥着至关重要的作用。

FinGPT通过专注于顶级开源LLMs的轻量级改编，它不仅提高了透明度，还允许用户定制，以适应个性化金融咨询服务的兴起趋势。FinGPT集成了多个模型，如Llama-2、Falcon、MPT、Bloom、ChatGLM2、Qwen和InternLM，每个模型都针对特定的语言市场和金融分析任务进行了优化。同时，FinGPT的成本效益高、灵活的框架有可能使金融语言建模民主化，提供了一种更容易访问的解决方案。

FinGPT的特色模块包括FinGPT-RAG，专门用于金融情感分析，通过外部知识检索优化信息深度和背景，以及FinGPT-FinNLP，提供金融领域LLM训练和微调的完整流程。FinGPT-Forecaster是一个股价预测工具，可以快速适应新数据，与传统模型相比具有较高的成本效益。

FinGPT提供了多种数据集和多任务金融LLM模型，用于情感分析、金融关系提取和问答等任务，并能够有效、低成本地适应金融领域的动态变化，并利用“人类反馈强化学习（RLHF）”技术进行个性化学习。此外，FinGPT引入了新的指令调整范式，增强了模型适应多样化金融数据集的能力，并促进了开源大型语言模型在金融数据集中的系统性基准测试和成本效益

• FinGLM

介绍：FinGLM 是一个致力于构建开放、公益和持久的金融大模型项目，旨在促进「AI+金融」的开源项目。该项目通过开源的方式探索金融领域中人工智能的应用边界。它主要关注于深度解析上市公司年报，利用AI技术实现专家级别的金融分析，面对金融文本中的专业术语与隐含信息，简化并提高对上市公司年报的解读准确性，帮助投资者更好地理解公司的经营状况、财务状况和未来规划。项目包括数据准备、模型微调、问答等多个流程，并提供了ChatGLM-6B 模型相关课程内容，涵盖PPT、视频和技术文档。

目前开源数据有 70G/1w+份年报数据，包含 11588 份 2019 年至 2021 年期间的部分上市公司年度报告，以及10000条人工标注评测数据等。

FinGLM项目还组织了与金融AI相关的竞赛，以探索和推动该领域的发展。其中SMP 2023 ChatGLM 金融大模型挑战赛（即SMP2023-ELMFT，即金融科技大模型评估）是在第十一届全国社会媒体处理大会（SMP2023）期间举办的。本次比赛要求参赛选手以ChatGLM2-6B模型为中心制作一个财务问答系统，回答用户的金融相关的问题。参赛选手可以使用其他公开访问的外部数据来微调模型，也可以使用向量数据库等技术。今年9月，SMP 2023 ChatGLM 金融大模型挑战赛进行了决赛答辩，并评选出冠亚季军共九支队伍。决赛答辩视频在B站上发布。同时，参赛队伍的答辩PPT和源代码也在Github上开源。

• XuanYuan，轩辕（度小满中文金融对话大模型）

介绍：轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。千亿级BLOOM-176B的模型已可以在Huggingface中申请下载。

2023年9月22日，度小满宣布“轩辕70B”金融大模型开源，所有用户均可自由下载和试用，并公布了“轩辕70B”在C-Eval、CMMLU两大权威大语言模型评测基准的成绩。

轩辕70B（度小满中文金融对话大模型）是由度小满金融开发的中文金融对话大模型，基于Llama2-70B模型进行中文增强。该模型融合了大量中英文语料的增量预训练，包括底座模型和使用高质量指令数据对齐的聊天模型。特别针对金融场景中的长文本业务，它将上下文长度扩展到了8k和16k。轩辕70B大模型在保持中英文通用能力的同时，显著提高了金融理解能力。该项目还包括了通用能力评测和金融领域评测，使用多种客观评测基准，以确保模型在金融领域的有效性和通用性。

• FinanceIQ：中文金融领域知识评估数据集

在金融行业中，目前缺乏统一和完善的大模型评估标准。现有的通用框架如C-Eval和CMMLU在金融领域的适用性有限。FinanceIQ，作为轩辕项目的一部分，是一个中文金融领域知识评估数据集。它旨在有效评估模型在金融环境中的表现。该项目提出建立专为金融领域设计的评估体系，分为通用能力、专业知识和场景应用三部分。通用能力评估覆盖语言、数学等方面；专业知识评估重点关注金融领域的具体知识，如寿险、投资等；场景应用则侧重于模型在实际业务环境的表现。

该数据集涵盖了10个金融大类及36个金融小类，包含总计7173个单项选择题，包括CPA、税务师等多个金融领域考试，并且使用GPT4对题目进行改写以测试模型的泛化能力，保证评估的客观性和多样性。为了确保客观公正的评估，所有模型均放在“同一起跑线”上进行测试，题目经过改写和人工校对，以验证模型的泛化能力。FinanceIQ为轩辕项目提供了一个全面且细致的金融领域模型性能评估工具，这一体系旨在更精确评估模型在金融环境的表现，同时降低实际应用的试错成本。

• Cornucopia（聚宝盆）：基于中文金融知识的LLaMA微调模型

介绍：该项目是一系列中文金融大模型的开源项目，提供了一套针对金融垂直领域的高效大语言模型训练框架，包括预训练、SFT、RLHF、量化等方法。项目基于LLaMA系列基模型，通过中文金融知识的指令微调（Instruct-tuning）进行了优化，使用中文金融公开问答数据和爬取的金融问答数据构建指令数据集，提高了模型在金融领域的问答效果。此外，项目还计划使用GPT3.5/4.0 API构建更高质量的数据集，并在中文知识图谱-金融、CFLEB金融数据集等基础上扩充指令数据集。近期，项目已发布了基于Chinese-LLaMA和Meta-LLaMA与中文金融数据进行指令微调的模型。

• Auto-GPT MetaTrader，量化交易插件

介绍：Auto-GPT-MetaTrader-Plugin是一款连接MetaTrader交易账户至Auto-GPT的软件工具，使交易者能够利用GPT-4的强大功能进行金融交易。该插件支持执行和管理交易、获取账户信息、提供市场数据等功能，为交易者提供自动化和智能化的交易体验。这不仅展示了AI技术在金融交易中的应用潜力，还为交易者带来了更加高效、便捷的交易方式，进一步推动了金融科技领域的发展。

• PIXIU貔貅：开源金融大语言模型

介绍：PIXIU貔貅是一个面向金融领域的综合性框架。它包括基于LLaMA模型微调得到的首个金融领域大型语言模型（FinMA）、首个包含136K数据样本的指令数据，以及一个涵盖5个任务和9个数据集的评估基准。FinMA模型经过多任务指令调整，能够处理各种金融任务。与此同时，研究团队提出了一个标准化的金融语言模型评估基准，涵盖关键的金融任务，包括五个金融自然语言处理（NLP）任务和一个金融预测任务。实验结果表明FinMA在大多数任务上性能优于现有的LLMs，如BloombergGPT、ChatGPT和GPT-4，尤其是在金融情感分析、新闻标题分类、命名实体识别和股票运动预测方面。这证明了专为金融领域量身定制的LLMs的重要性。此外，所有相关的模型、数据集、基准和实验结果都已开源，以便于未来金融AI的研究。

• DISC-FinLLM，中文金融大语言模型

介绍：DISC-FinLLM 是一个专门针对金融场景下为用户提供专业、智能、全面的金融咨询服务的金融领域大模型，由复旦大学数据智能与社会计算实验室 (Fudan-DISC) 开发并开源。这个项目通过集成四个模组——金融咨询、金融文本分析、金融计算、金融知识检索问答，构成了一个多专家智慧金融系统。每个模组专注于不同的金融NLP任务，包括与用户就金融话题进行多轮对话、在金融文本上完成信息抽取、情感分析、文本分类、文本生成等任务，以及帮助用户完成数学计算和提供基于金融新闻、研报的投资建议等

• BBT-FinCUGE-Applications

介绍：项目“BBT-FinCUGE-Applications”致力于提升中文金融领域自然语言处理（NLP）的能力。它包括BBT-FinCorpus，这是一个大规模多样性的中文金融领域开源语料库，以及BBT-FinT5，这是一个基于T5模型架构的中文金融领域预训练语言模型。此外，项目还提供了一套金融领域自然语言处理评测基准CFLEB，涵盖了六种不同的NLP任务。这些成果有助于提高中文金融NLP的性能和泛化能力，尤其对信息抽取等关键任务表现出显著的优化效果。

该项目构建了目前最大规模的中文金融领域开源语料库，包含大约300GB的文本，源自四种不同类型的金融相关数据，如公司公告、研究报告、财经新闻和社交媒体内容。这一丰富多样的语料库有助于提高预训练语言模型的性能和泛化能力。

• WeaverBird (织工鸟)

介绍：这是一个专为金融领域设计的智能对话系统。该系统采用了经过大量金融相关文本调整的GPT架构大型语言模型。这一项目由蚂蚁集团、芝加哥大学和TTIC的研究人员共同开发。这个项目的意义在于为金融领域提供了一个高度专业化和定制化的智能对话系统，有助于提高金融决策的效率和准确性，推动金融科技领域的发展。

• FLANG (Financial LANGuage model)

介绍：FLANG (Financial LANGuage model) 是一个针对金融领域特定的预训练语言模型。该项目旨在利用金融关键词和短语进行更有效的掩码处理，同时采用跨度边界目标和内部填充目标。FLANG的架构基于ELECTRA训练策略，使用金融特定数据集和常规英语数据集（如Wikipedia和BooksCorpus）。该项目还包括FLUE（Financial Language Understanding Evaluation），这是一个综合性且多样化的金融领域基准测试，由5个不同的金融领域特定数据集构成。

• InvestLM

介绍：InvestLM是由香港科技大学工商管理学院研究团队开发的一个项目，它是本港首个专为金融界设计的生成式人工智能（AI）开源大语言模型。InvestLM能就金融相关问题与用户进行对话，其回应质量可媲美知名的商业聊天机器人，例如OpenAI的ChatGPT。该模型是通过指令微调技术和精选的财经问答文本对LLaMA-65B模型进行训练得到的，旨在提高金融专业人士的工作效率，例如提供投资建议、写作财经文章等。InvestLM的性能被评为可与最先进的商用大语言模型相媲美，并且在理解金融文本方面展现了强大的能力。此外，研究团队还发现使用领域特定的高质量指令对模型进行训练比使用通用指令更有效果。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】