从数据集到模型，详解金融大模型FinLLM

1、引言

自从首个大型语言模型（LLM）诞生，研究人员就一直在努力调整这些模型，使其能够更好地服务于不同领域。本文将简要介绍学界如何打造能够灵活应对各种金融任务的LLM模型的最新动态。

2、金融数据集

金融数据集的构建依托于各类金融文献，包括新闻报道、企业财报、证券文件、新闻稿，以及从网络和社交媒体上抓取的金融相关信息。

1. FLUE（金融语言理解评估）基准测试包括5个不同的金融任务（论文：https://aclanthology.org/2022.emnlp-main.148/）：

1. 情感分类：金融短语库（FPB） （https://huggingface.co/datasets/takala/financial_phrasebank）
2. 情感分析、问答：FiQA 2018 （https://huggingface.co/datasets/SALT-NLP/FLUE-FiQA）
3. 新闻标题分类：黄金商品新闻和维度 （https://www.kaggle.com/datasets/daittan/gold-commodity-news-and-dimensions）
4. 命名实体识别：贷款协议上的NER数据 （https://paperswithcode.com/dataset/fin）
5. 结构边界检测：FinSDB3 （https://sites.google.com/nlg.csie.ntu.edu.tw/finweb2021/shared-task-finsbd-3）

1. 其他数据集：

1. 从推文和历史价格预测股票走势：stocknet-dataset （https://github.com/yumoxu/stocknet-dataset）
2. 从推文预测股票价格走势：BigData22（https://github.com/deeptrade-public/slot）, CHRNN（https://github.com/wuhuizhe/CHRNN）
3. 金融数据上的数值推理：FinQA（https://github.com/czyssrs/FinQA） （论文 https://aclanthology.org/2021.emnlp-main.300/）
4. 金融数据上的链式数值推理：ConvFinQA数据集（https://github.com/czyssrs/ConvFinQA） （论文https://aclanthology.org/2022.emnlp-main.421/）
5. 推特金融新闻情感：TFNS （https://huggingface.co/datasets/zeroshot/twitter-financial-news-sentiment）
6. AI4Finance小组的情感分析：NWGI （https://huggingface.co/datasets/zeroshot/twitter-financial-news-sentiment）
7. 金融文本中的关系提取：FinRed （https://github.com/soummyaah/FinRED/）

请注意，上述列表并不全面，仅包括了在指令微调基准测试中使用的数据集。

3、指令微调基准测试

指令微调是 LLM 微调中使用的众多技术之一。 微调的其他例子还有推理、路由、副驾驶、聊天、智能体

指令微调是一种针对特定指令或提示对模型进行精细调整的方法，可能包括对模型参数的调整，以提升其在特定任务上的表现。

截至目前，已有两组研究者提出将现有的数据集转化为适用于指令微调的数据集，具体格式如下：

1. 模板结构：指令模板包括三个部分：指令提示、输入和答案输出。

这两个基准测试分别为：

1. FLARE（金融语言理解和预测评估）：包含5个任务和9个数据集，具体任务包括：

这些数据集可以在GitHub和Hugging Face平台上找到。

1. FinGPT：包含4个任务和7个数据集，具体任务包括：

同样，这些数据集也可以在GitHub和Hugging Face平台上找到。

4、金融大型语言模型（FinLLM）

为保持内容简洁，这里仅涉及自回归模型，不包括掩蔽语言模型如FLANGBert、FinBERT等。

以下是通过指令微调方法，基于上述基准测试进行微调的模型：

FinGPT —— 这是一个开源模型，它从通用的大型语言模型（LLM）微调而来。FinGPT采用了低秩适应方法和指令微调技术。（论文 https://arxiv.org/abs/2306.06031）模型和代码：可以在GitHub和Hugging Face上找到。

FinGPT 提出的指令调整范式

Instruct-FinGPT —— 从通用LLM指令微调而来的开源模型（论文 https://arxiv.org/abs/2306.12659）

FinMA —— 同样是一个开源模型，它是通过指令微调从LlaMa模型优化而来，具体细节和效果可以参考图1中的描述。该模型在FLARE基准测试中使用了基准数据集，具体数据集信息请参见数据部分的介绍。（论文 https://arxiv.org/abs/2303.17564）模型和代码：同样可以在GitHub和Hugging Face上找到。

针对 5 项金融任务的 FinMA 多任务和多模式（文本、PDF 文件中的表格、时间序列数据）指令调整概览。

BloombergGPT （https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance/）这是由彭博社开发的一款专有模型，需要通过订阅来获取访问权限。相关论文提供了模型的详细信息。（论文 https://arxiv.org/abs/2303.17564）

为了深入了解这些模型的微调和评估过程，建议阅读相应的论文。特别是那些关于单任务与多任务微调的实验，它们能帮助我们更好地理解研究者是如何挑选和优化出性能最佳的模型的。

5、FinLLM排行榜

The FinAI社区（https://huggingface.co/TheFinAI）推出了一个排行榜，旨在衡量和评估各类大型语言模型（LLM）在FLARE基准测试中的表现，涵盖开源和封闭模型。通过观察不同模型的表现，我们可以发现哪些模型更擅长处理特定的金融任务，这对于选择合适的模型来构建金融应用具有重要意义。

排行榜显示了各种 LLM 在以下任务的金融数据上的表现：(1) 问题解答，(2) NER，(3) 文本摘要，(4) 股票走势预测，(5) 信用评分，(6) 情感分析。

想要了解最新的排行榜数据，请访问排行榜的实时页面。（https://huggingface.co/spaces/TheFinAI/FinBen）

6、金融领域中的AI应用

专业的LLM，如FinLLM，在金融领域具有广泛的应用潜力，具体包括：

1. 个人（机器）财务顾问
2. 投资组合优化
3. 金融情感分析
4. 风险管理
5. 金融欺诈检测
6. 信用评分
7. 并购（M&A）预测
8. 环境、社会和治理（ESG）评分
9. 金融教育
10. 从财务报告和收益电话中提取和分析信息

这些应用展示了AI在提升金融服务效率和准确性方面的重要作用。

推荐书单

《金融大模型开发与应用实践》

《金融大模型开发与应用实践》循序渐进、深入讲解了金融大模型开发与应用实践的核心知识,并通过具体实例的实现过程演练了各个知识点的用法。全书共11章,分别讲解了大模型基础、数据预处理与特征工程、金融时间序列分析、金融风险建模与管理、高频交易与量化交易、资产定价与交易策略优化、金融市场情绪分析、区块链与金融科技创新、基于深度强化学习的量化交易系统(OpenAIBaselines+FinRL+DRL+PyPortfolioOpt)、基于趋势跟踪的期货交易系统(TechnicalAnalysis library+yfinance+Quantstats)、上市公司估值系统(OpenAI+LangChain+Tableau+PowerBI)。《金融大模型开发与应用实践》易于阅读,以极简的文字介绍了复杂的案例,同时涵盖了其他同类图书中很少涉及的历史参考资料,是学习金融大模型开发的理想教程。

随着金融市场的复杂性和不确定性增加，金融机构和个人投资者对于更加精准、高效的金融模型和交易策略的需求也日益迫切。而人工智能技术的快速发展为满足这一需求提供了新的可能性。因此，市场上对于能够将人工智能与金融领域结合，提供实用指导并具 备操作性的书籍的需求不断增加。

Python作为一种强大的编程语言，已经成为金融领域不可或缺的工具之一。本书以全面的视角介绍了人工智能、机器学习、深度学习等技术与金融领域的融合，以及如何利用Python构建大模型来应对金融市场的挑战。本书理论结合实践，可以帮助金融从业者和学习者掌握Python在金融领域的应用技能，提升金融模型的准确性和可操作性，从而更好地适应金融市场的变化和挑战。

本书的特色

☑全面性与深度：本书从人工智能和机器学习的基础知识入手，深入探讨了这些知识在金融领域中的应用。不仅覆盖了传统的金融模型和技术，还介绍了最新的深度学习和强化学习方法，并提供了丰富的案例研究，使读者能够全面了解和掌握 这些技术。

☑实用性与操作性：本书不仅介绍了理论知识，更注重如何将这些知识应用到实际项目中。通过大量的代码示例、演示和实战项目，读者可以快速学习并掌握Python在金融领域中的应用技能，提高金融模型的准确性和可操作性。

☑ 案例丰富：书中提供了丰富的实际案例和项目，涵盖了金融时间序列分析、风险管理、量化交易、情绪分析、区块链技术等多个方面。这些案例不仅可以帮助读者理解和应用书中介绍的技术，还能够启发读者深入思考和探索更多的应用场景。

☑前沿技术应用：本书介绍了一些前沿的技术和方法，如深度强化学习、情感分析预训练模型(如BERT 和 FinBERT)、区块链技术等，帮助读者了解并掌握最新的金融科技发展趋势，为他们在金融领域的发展提供更广阔的视野和更丰富的工具。

☑ 适用性广泛：尽管以Python为主要编程语言，但本书介绍的方法和技术都具有 普适性，适用于金融领域的各个方面，包括但不限于股票市场、期货市场、债券市场、外汇市场等，以及金融机构的风险管理、资产定价、交易策略优化等多个领域。

本书的内容

本书是一本深入探讨金融和人工智能领域交汇点的综合性书籍，以下是对本书内容的总结。

(1)大模型基础：包括人工智能的发展历程、研究领域和对人们生活的影响，机器学习、深度学习及其在金融中的应用，大模型介绍及其在金融中的作用等内容。

(2)数据预处理与特征工程：包括数据清洗与处理、特征选择与提取、数据标准化与 归一化等内容。

(3)金融时间序列分析：包括时间序列的基本概念、常用的时间序列分析方法。

(4)金融风险建模与管理：包括金融风险的基本概念、基于人工智能的金融风险建模方法、制作贵州茅台的ARCH 模型等内容。

(5)高频交易与量化交易：包括高频交易的特点、传统高频交易策略回顾、量化选股程序等内容。

(6)资产定价与交易策略优化：包括资产定价模型、交易策略的基本概念、股票交易策略实战等内容。

(7)金融市场情绪分析：包括情绪分析的概念与方法、基于人工智能的金融市场情绪分析等内容。

(8)区块链与金融科技创新：包括区块链技术的概念与原理、人工智能与区块链的结合应用、检测以太坊区块链中的非法账户等内容。

(9)基于深度强化学习的量化交易系统：包括背景介绍、项目介绍、数据预处理、构建交易环境、深度强化学习算法模型等内容。

(10)基于趋势跟踪的期货交易系统：包括背景介绍、功能模块、数据分析、建模、制定交易策略等内容。

(11)上市公司估值系统：包括背景介绍、项目介绍、数据收集、质性分析、定量分析、估值报告可视化等内容。

通过学习这些内容，读者将能够系统地了解Python在金融领域的应用，掌握其中的各种技术和方法，并能够将其应用到实际项目中去。

本书的读者对象

☑数据科学家和分析师：数据科学家和分析师可以通过本书深入了解如何应用机器学习、深度学习和大模型技术来解决金融领域的问题，包括时间序列分析、风险建模、交易策略优化等。

☑金融专业人士：金融从业人员，包括金融分析师、风险管理专家、交易员等， 可以通过本书学习如何利用人工智能技术来提高金融决策和风险管理的效率和准确性。

☑数据工程师和开发人员：数据工程师和开发人员可以通过本书了解金融大模型的开发和部署技术，包括深度学习框架、数据预处理工具、模型部署平台等。

☑学术界研究人员：在学术界从事人工智能和金融领域研究的学者可以通过本书获得实际应用案例和方法，以便在其研究工作中应用。

☑企业决策者和管理者：企业的高级管理层和决策者可以了解本书中提到的人工智能技术是如何在金融业务中产生价值的，并在决策中考虑这些技术的应用。

☑大数据分析师：在大数据领域工作的专业人员可以通过本书学习如何处理和分析大规模数据集，为模型开发提供数据支持。

☑研究人员和学生：从事人工智能研究的学者和学生可以通过本书了解开发金融大模型的知识，学习并掌握开发金融模型的方法。

☑技术培训师：人工智能领域的培训师可以将本书作为教材，为学员提供全面的金融模型开发与应用教学。

☑ 高校老师：高校老师可以将本书作为教材，用于教授人工智能、机器学习和深度学习等课程。本书的内容覆盖了从基础到高级的知识，有助于培养学生的实际应用能力和创新思维。

购买链接：https://item.jd.com/14335703.html