大语言模型在专业领域的应用——金融场景下的大语言模型

随着金融科技的快速发展，金融领域对于自动化的数据处理和分析技术日益增长。在这一背景下，大语言模型技术开始逐步应用于金融领域的多种相关任务（如投资倾向预测、投资组合设计、欺诈行为识别等），展现出了较大的应用潜力。

构建金融相关大语言模型

与前述垂域模型的研发方法相似，可以将通用大语言模型在金融领域数据上进行继续预训练或指令微调，进而构建金融大语言模型，提高其在金融相关任务上的表现。为了训练金融大语言模型，需要收集大量的金融领域文本数据，通常还可以再添加通用文本数据以补充广泛的语义信息。其中，可供使用的金融领域数据主要包括公开的公司文件、金融新闻、财务分析报告等，可以为大语言模型补充金融领域的专业知识。其中，一个具有代表性的金融大语言模型是 BloombergGPT，该模型采用自回归 Transformer 模型的架构，包含 50B 参数，使用了 363B 词元的金融领域语料和 345B 词元的通用训练语料从头开始预训练。其中，金融领域数据主要来自于彭博社在过去二十年业务中所涉及到的英文金融文档，包括从互联网中抓取的金融文档、金融出版物、彭博社编写的金融新闻以及社交媒体等。BloombergGPT 在金融评测基准上的表现优于 OPT、BLOOM 等通用开源大语言模型，并且在通用自然语言评测基准上能达到这些通用大语言模型相近的性能。

数据资源

金融领域的预训练数据通常包含公司与个人的专有信息，可能会涉及到隐私问题，因此开源数据相对较少。目前研究社区公开的金融领域数据资源主要为指令和评测数据集。
已有的指令数据集通过整合金融领域的各类任务数据（例如新闻标题分类、命名实体识别、股票趋势预测）和现实应用场景中的问答或对话数据（例如注册金融分析师考试、在线平台上金