金融应用大语言模型的综述：进展、前景和挑战

AI产品经理

于 2024-12-23 17:10:39 发布

阅读量1.5k

点赞数 31

文章标签：金融语言模型人工智能深度学习架构机器学习自然语言处理

本文链接：https://blog.csdn.net/lvaolan168/article/details/144673065

版权

24年6月来自普林斯顿大学和牛津大学的论文“A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges”。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

大语言模型 (LLM) 的最新进展为金融领域的机器学习应用开辟了新的机会。这些模型在理解上下文、处理大量数据和生成人类偏好的内容方面表现出了卓越的能力。该文探讨 LLM 在各种金融任务中的应用，重点关注它们改变传统实践和推动创新的潜力。讨论 LLM 在金融环境中的进展和优势，分析它们的先进技术以及在上下文理解、迁移学习灵活性、复杂情绪检测等方面的潜在能力。现有文献分类为关键应用领域，包括语言任务、情绪分析、金融时间序列、金融推理、基于智体的建模和其他应用。对于每个应用领域，深入研究特定方法，例如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外，还提供与主流应用相关的数据集、模型资产和有用代码的综合集合，作为研究人员和从业人员的资源。最后，概述未来研究的挑战和机遇。

金融领域一直具有复杂性、不确定性和快速发展的特点。随着技术的进步，先进的计算模型在金融领域的应用获得了巨大的发展势头 [1]。在这些进步中，大语言模型 (LLM) 已经成为一种强大的工具，在理解上下文、处理大量数据和生成类似人类的文本方面表现出色。LLM 在金融领域的应用有望改变传统做法、推动创新并在各种金融任务中释放新机遇。

LLM，例如 GPT 系列、BERT 及其金融专用变体（如 FinBERT），在自然语言处理 (NLP) 任务中表现出色。这些模型利用复杂的算法和对大量数据集的广泛预训练来实现高级上下文理解、定制功能和实时分析的可扩展性。它们能够检测复杂的情绪状态并提供准确的解释，这使得它们在金融领域特别有价值，因为了解市场情绪和做出明智的决策至关重要。

近年来，金融领域对将 LLM 应用于各种应用的兴趣日益浓厚。这些应用不仅重塑了金融分析的格局，也为市场行为和经济活动提供了新的视角。例如，在语言任务中，LLM 擅长从大量财务文件中总结和提取关键信息，从而将复杂的财务叙述精简为简洁的摘要，并实现更高效的信息处理。情绪分析作为金融领域最重要的应用之一，几十年来一直受到广泛探索。LLM 的进步使其在量化金融新闻、社交媒体和公司披露中的市场情绪方面发挥了关键作用，从而提供了影响市场走势和投资决策的关键见解。此外，LLM 在金融时间序列分析中展现出了潜在的能力，包括预测市场趋势、检测异常和对财务数据进行分类，尽管其有效性仍有争议。这些模型旨在通过利用其深度学习架构来捕捉金融数据集中复杂的时间依赖性和模式，从而提高预测准确性和稳健性。

LLM 明显超越以前的深度学习方法的最有前途的研究领域之一是它们的推理能力，这使它们不仅能够拟合数据，而且还能够模拟类似于人类认知的推理过程。在金融推理中，LLM 通过处理和合成来自不同来源的大量金融数据来支持财务规划、生成投资建议并协助决策。利用其模仿人类决策过程的能力，LLM 进一步应用于基于智体的建模。此应用将 LLM 的推理能力扩展到智体与其环境、市场和人类之间的交互，从而能够模拟市场行为、经济活动和金融生态系统的动态。

尽管取得了令人鼓舞的进展，但LLM在金融领域的应用也带来了一些挑战，例如回测中的前瞻偏差、围绕机器人生成内容的法律问题、数据污染、信号衰减、推理速度、成本、不确定性估计、维度考虑、可解释性、法律责任、安全性和隐私。应对这些挑战对于确保LLM在金融应用中合乎道德和有效部署至关重要。

如图是该文的架构：

LLM 已在众多领域展现出卓越的能力 [6]、[7]、[8]。虽然 GPT 系列、Llama 系列和 BERT 等通用领域 LLM 在各种 NLP 任务上表现出色，但人们对开发金融领域特定 LLM 的兴趣也日益浓厚。这些专门的模型经过大量金融数据的训练，使它们能够更好地理解和生成与金融、经济和商业相关的内容。如图是各种LLM模型的概述：

零样本学习和微调是 LLM 应用中两种不同的自适应方法。零样本（或少样本）学习是指模型能够根据其已有的知识和泛化能力，正确预测或执行未经明确训练的任务。另一方面，微调涉及调整特定数据集或特定任务上的预训练模型，以提高其在该任务上的准确性和性能 [3]。

当特定领域的准确性至关重要、需要适应实时变化，或者定制和隐私是关键考虑因素时，微调是首选。在实践中，集成与金融相关的文本数据是微调 LLM 的常用方法。Araci [15] 开发了 FinBERT，这是 BERT 语言模型的定制版本，通过在综合金融数据集（包括新闻、文章和推文）上进行扩展预训练以及战略微调方法实现。FinBERT 为金融相关文本分析树立了新的标杆，超越了该领域早期的深度学习方法。

已经提出了几种技术来提高微调效率。指令调整 [47] 是一种语言模型的微调方法，其中模型经过训练以遵循特定指令，不仅可以提高目标任务的性能，还可以增强模型的零样本和少样本学习能力，使其在各种金融应用和模型中广受欢迎。Zhang [30] 提出了一种指令调整的 FinGPT 模型，该模型采用指令调整来增强 LLM 的金融情绪分析能力，指令调整将一小部分监督金融情绪数据转换为指令数据，从而提高模型的数值敏感性和上下文理解能力。此外，Zhang [48] 将指令调整的 LLM 与检索增强（RAG）模块相结合，这是一种使用从外部来源检索到的相关信息补充其输入来增强语言模型的技术，通过提供更丰富的上下文来增强模型的预测性能。除了指令调整之外，人们还应用了低秩自适应（LoRA）[49]或量化LLM[50]，[51]，以便更有效地适应金融任务，例如FinGPT[30]、FinGPT-HPC[52]和基于Llama的模型[53]。

另一种流行的方法是考虑较小的模型，因为在当今的机器学习领域，能源效率和模型的轻量级特性至关重要[54]，[55]，[56]。Rodriguez Inserte[57]证明，较小的LLM可以在金融文件和指令上进行有效微调，以实现与较大模型相当或更优的性能。Deng[58]介绍了一个利用LLM对Reddit数据进行半监督金融情绪分析的案例研究，其中LLM通过上下文学习和思维链推理生成弱情绪标签，然后用于训练较小的模型以供生产使用，以最少的人工注释实现具有竞争力的性能。

虽然预训练和微调使这些模型能够适应各种应用的特定语言特征和风格，但在标记数据有限、快速部署至关重要或优先考虑模块化开发和可解释性的情况下，零样本学习是首选。LLM 的零样本和小样本能力凸显了它们的效率，因为无需进行大量针对特定数据集的训练，即可直接应用。这种效率归功于 LLM 在其上训练的海量数据集的迁移学习，以及它们在信息处理过程中产生新见解或解决意外问题的能力 [59]。这些特性大大拓宽了它们在各个领域的实用性，而无需进一步训练。例如，Steinert & Altmann [60] 探索了 GPT-4 的零样本能力，通过微博消息预测 2017 年苹果和特斯拉当天的股价走势，并通过将其性能与 BERT 进行比较，他们强调了提示工程对于从 GPT-4 中提取复杂情绪用于金融应用的重要性。

LLM在金融应用包括：

1 语言任务：文本和基于知识的分析

许多早期模型，例如基于RNN的模型，特别是LSTM，已经证明了能够对文本序列实现一定程度的语言理解并执行文本工作的能力 [63]。然而，由于这些模型的架构限制，它们难以处理长期依赖关系。具体而言，它们在维护长文本序列的上下文、理解复杂表达式、处理大型数据集和有效处理非结构化数据方面遇到了挑战 [63]，[64]。这种限制在应用于金融领域时尤其明显，因为金融领域的文档量巨大，对准确而简洁的摘要的需求至关重要 [65]。

另一方面，利用 Transformer 模型架构的 LLM 显著提升了该领域的能力。Transformer 架构以其创新的自注意机制为特点，使 LLM 能够根据经过训练的海量数据集处理、理解和生成文本 [66]，[67]。这一突破有助于克服早期模型面临的挑战。通过有效管理大量文本的长期依赖关系和上下文信息，LLM 可以将复杂的财务叙述精简为简洁的摘要并提取相关信息 [66]，[67]。此过程保留了基本见解并实现了更高效的信息处理。

如图是金融中的各种文本任务：

在金融文本分析中，总结和提取文档中的关键信息对于快速理解和处理冗长复杂文本中的重要数据至关重要 [103]。提取相关信息后，下一步是利用这些信息解决下游财务任务。此应用的两个主要活动：构建财务关系和文本分类。这些工作对于利用提取的信息来增强金融部门的决策和分析过程至关重要。

2 情绪分析：LLM前分析、LLM分析和数据驱动的应用

情绪分析是 NLP 领域的一个重要组成部分，也是金融应用中最重要的任务之一。它涉及对文本数据中表达的观点、情绪、主观性和情感的定量探索 [134]，[135]。这项任务在金融应用中具有特殊意义，因为对市场情绪的解读可以带来有影响力的预测和行动 [136]。它的演变反映了 NLP 更广泛的进步，从基于规则的系统过渡到复杂的机器学习模型，最近又过渡到利用大型预训练语言模型的深度学习方法。

如图是情绪分析的代表性方法：

3 金融时间序列分析：LLM、预测、异常分析、分类、数据增强及归责

深度学习彻底改变了时间序列分析，为序列数据的建模和预测提供了强大的工具 [189]、[190]、[191]。LSTM 网络和 CNN 等著名的深度学习模型在捕捉时间序列数据中的时间依赖性和异常方面表现出显著的有效性 [192]、[193]、[194]。

随着 LLM 的流行度不断上升，这些工具越来越多地被用于协助时间序列任务 [195]、[196]。它们提供了多种辅助功能，例如从文本数据生成附加特征和生成描述性统计数据，这些功能可以通过利用原始数据以外的更广泛的信息来提高时间序列模型的准确性。

除了这些支持性角色之外，LLM 还被用于直接分析时间序列数据 [197]、[198]，这一发展得到了多种因素的支持。这主要归因于 LLM 理解和处理序列数据的能力，这是文本和时间序列的共同特征。此外，大多数 LLM 所依赖的流行 Transformer 架构已被证明可在各种时间序列任务中有效 [199]、[200]、[201]。此外，LLM 表现出卓越的多模态能力，这表明它们在海量数据集上进行的预训练（即使仅基于文本）也能提供超越特定数据模态的一般推理能力 [202]。这一特性不仅为 LLM 直接应用于时间序列分析提供了支持证据，也为未来的多模态基础模型铺平了道路 [203]。

如图是时间序列分析例子：

4 金融推理：规划、推荐、支持决策、实时推理

LLM 在金融领域的另一个关键应用是支持金融推理。如前所述，LLM 能够处理和综合来自各种来源的大量金融数据，包括市场报告、金融新闻和历史定价数据。对金融格局和市场动态的全面了解可能使 LLM 能够支持战略财务规划、提出投资建议、提供咨询服务并协助财务决策。

LLM 在金融推理中的应用具有几个关键优势。首先，它们可以通过处理大量财务信息、识别有助于做出更好决策的模式和趋势来增强数据分析。其次，LLM 可用于预测模型，使其能够预测市场状况和资产表现，从而可能产生可靠的投资建议。此外，LLM 还可以提供个性化的咨询服务。他们可以分析个人或组织的财务状况、目标和风险承受能力，以提供定制建议。另一个好处是实时监控和警报，LLM 可以监控金融市场趋势和新闻，提供及时更新和警报，帮助用户根据需要调整策略。此外，LLM 可以提高可访问性和参与度。通过将这些模型集成到聊天机器人等用户友好的界面中，财务规划和咨询变得更加容易获得和引人入胜，个人可以控制自己的财务状况。

如图所示是各种金融推理任务：

5 基于智体的建模：交易和投资、仿真市场和经济活动、自动化的金融过程、多智体系统

基于智体的建模 (ABM) 代表了模拟复杂系统（尤其是金融系统）的重大进步。ABM 的核心原理是创建在定义环境中交互的自主智体，从而允许自下而上地出现复杂现象。与假设智体之间行为统一和均衡状态的传统模型不同，ABM 捕捉了现实世界金融市场行为和自适应策略的多样性。这种灵活性使 ABM 成为理解市场动态、投资者行为以及各种外部因素对金融系统影响的有力工具。

近年来，LLM 与基于智体的建模的结合为研究和应用开辟了新的途径 [256]、[257]、[258]。凭借其先进的 NLP 功能，LLM 增强了智体的认知功能，使其能够解释和响应大量非结构化数据（如财经新闻、报告和社交媒体帖子）。LLM 与 ABM 之间的这种协同作用可以实现更现实、更具适应性的模拟，这对于制定稳健的交易和投资策略至关重要 [259]。

ABM 在金融领域的传统应用侧重于对不同类型的市场参与者（如机构投资者、个人交易者和监管机构）之间的相互作用进行建模 [260]。这些模型已用于研究监管变化、市场冲击和行为偏差对市场动态的影响。例如，基于智体的模型已用于模拟高频交易的影响、金融危机的传播和资产泡沫的形成。在这些模型中添加 LLM 可使智体能够以类似于人类分析师的方式处理和响应实时信息，从而进一步增强其预测能力和准确性。

如图是基于智体的建模任务示意图：

6 其他

云计算可以与 LLM 相结合，以增强整个金融部门的可扩展性、效率和成本效益。LLM 的高级 NLP 功能正被用于自动化复杂流程、改善客户互动和支持银行决策。在云计算框架中使用无服务器架构可以为部署这些 AI 模型提供可扩展且高效的平台，从而无需进行传统的服务器管理 [285]。通过利用 LLM 和无服务器计算之间的协同作用，金融机构可以增强运营弹性、确保法规遵从性并保持供应商独立性。Kore.AI 和 Devin 框架等实际实现已经展示了这种集成的变革性影响。随着金融业的不断发展，在云计算中战略性地使用 LLM 有可能推动重大创新、运营效率和客户中心性 [286]。

数据集涵盖了广泛的金融领域和任务。这些数据集对于训练和评估特定金融任务（如情绪分析、问答、关系提取和数值推理）的模型至关重要。几个广泛使用的数据集包括：

金融惯用语库（FPB）[302]：这是一个由带有情感标签金融惯用语组成的数据集。由于其详细且针对特定领域的注释，它被广泛用于金融环境中的情感分析。
金融问答和观点挖掘（FiQA）[303]：该数据集侧重于基于方面的情感分析和基于观点的问答。它包括金融新闻标题和微博，并标注了情感和方面类别。该数据集旨在挑战需要从金融文本中提取细粒度情感和观点的任务的模型。
FinQA [304]：专为对财务数据进行数值推理而设计的数据集。FinQA 包括需要理解和处理财务报告中的数字信息的问题。它强调模型需要执行涉及财务指标和计算的复杂推理任务。

用于评估金融领域 LLM 绩效，有各种综合基准。稳健的基准至关重要，因为它们提供了标准化的措施来客观地比较模型，确保金融文本理解和预测的可靠性和准确性。这种系统评估促进 LLM 应用的透明度、可重复性和持续改进。共享代码和方法可促进协作，推动创新和在现实金融场景中的实际实施。

如下是各种基准：