【大模型应用】大型语言模型在金融应用中的调查：进展、前景和挑战

大型语言模型在金融应用中的调查：进展、前景和挑战

https://arxiv.org/abs/2406.11903

聂宇琦*，孔雅轩*，董晓文，约翰·M·穆尔维 ${}^{†‡}$ ，H·文森特·普尔，闻青松，斯特凡·佐亨 ${}^{†}$ 摘要-近期大型语言模型（LLMs）的进展为金融领域的机器学习应用解锁了新的机会。这些模型在理解上下文、处理大量数据和生成人类偏好的内容方面展示了显著的能力。在本次调查中，我们探讨了LLMs在各种金融任务中的应用，重点关注它们在转变传统实践和推动创新方面的潜力。我们讨论了LLMs在金融环境中的进展和优势，分析了它们在上下文理解、迁移学习灵活性、复杂情感检测等方面的先进技术和前景能力。接着，我们为现有文献分类为关键应用领域，包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用。对于每个应用领域，我们深入探讨了特定的方法论，如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外，我们提供了一套全面的数据集、模型资产和与主流应用相关的有用代码，作为研究人员和从业者的资源。最后，我们概述了未来研究中的挑战和机遇，特别强调了该领域中的一些独特方面。我们希望我们的工作能够促进LLMs在金融领域的采用和进一步发展。

索引词-大型语言模型（LLMs），金融应用，深度学习，基础模型，语言任务，情感分析，时间序列，推理，基于代理建模。

目录

1 引言 2

2 模型 3

2.1 模型集合 3

2.2 零-shot与微调 5

2.3 为什么在金融中应用LLMs？ 6

3 应用 6

3.1 语言任务

3.1.1 文本工作 6

3.1.2 基于知识的分析 . 8

情感分析 10

3.2.1 预LLM情感分析 . 10

3.2.2 使用 LLM 的情感分析 11

3.2.3 数据驱动的应用 11

3.3 财务时间序列分析 13

3.3.1 时间序列的 LLM 13

3.3.2 预测 14

3.3.3 异常检测 15

3.3.4 其他时间序列任务 15

3.4 财务推理 15

3.4.1 规划 16

3.4.2 推荐 16

3.4.3 支持决策 18

3.4.4 实时推理 19

3.5 基于智能体的建模 20

3.5.1 交易与投资 20

3.5.2 模拟市场和经济活动 21

3.5.3 自动化财务流程 22

3.5.4 多智能体系统 22

3.6 其他应用 23

4 数据集、代码与基准 235 挑战与机遇 25

5.1 数据问题 . 25

5.2 建模问题 26

5.3 基准测试 26

5.4 伦理问题 27

6 结论 28

1 引言

金融领域一直以来都以复杂性、不确定性和快速演变为特征。随着技术的出现，将先进的计算模型整合到金融中已获得显著的动力 [1]。在这些进展中，大型语言模型（LLMs）作为一种强大的工具应运而生，展现出在理解语境、处理大量数据和生成类人文本方面的卓越能力。LLMs在金融中的应用承诺将改变传统实践、推动创新，并在各类金融任务中开启新的机遇。

如GPT系列、BERT及其金融特定变体FinBERT等大型语言模型在自然语言处理（NLP）任务中表现出色。这些模型利用复杂的算法和在大量数据集上的广泛预训练来实现高级的语境理解、定制能力以及实时分析的可扩展性。它们检测复杂情感状态并提供准确解释的能力，使其在金融部门尤为有价值，因为理解市场情绪和做出明智决策至关重要。

近年来，金融领域对应用LLMs的兴趣日益增长。这些应用不仅在重塑金融分析的格局，还为市场行为和经济活动提供了新的视角。例如，在语言任务中，LLMs在总结和提取大量金融文档中的关键信息方面表现优异，从而将复杂的金融叙述精简为简明摘要，并促进更高效的信息处理。在情感分析方面，作为金融中最关键的应用之一，LLMs已被广泛探索数十年。LLMs的进步使得它们成为量化金融新闻、社交媒体和公司披露中市场情绪的关键工具，从而提供影响市场动态和投资决策的重要洞察。此外，LLMs在金融时间序列分析中也表现出潜在能力，包括预测市场趋势、检测异常和分类金融数据，尽管其效果仍有争议。这些模型旨在通过利用其深度学习架构捕捉金融数据集中复杂的时间依赖性和模式，提升预测的准确性和稳健性。LLMs显著超越以往深度学习方法的最具前景的研究领域之一是其推理能力，这使它们不仅能够拟合数据，还能模拟类似人类认知的推理过程。在金融推理中，LLMs通过处理和综合来自不同来源的大量金融数据，支持财务规划、生成投资推荐并协助决策。通过模仿人类决策过程的能力，LLMs进一步应用于基于代理的建模。此应用将LLMs的推理能力扩展到代理与其环境、市场和人类之间的互动，使得市场行为、经济活动和金融生态系统动态的模拟成为可能。

表 1

我们的调研与相关调研的比较。圆圈表示涵盖的领域，但缺乏详细信息。

调研	金融 LLMs	基准测试	应用	挑战
Lee et al. [2]	3	3	O	O
Li et al. [3]	3	$x$	O	O
Dong et al. [4]	$x$	$x$	3	O
Zhao et al. [5]	$x$	3	3	O
我们的	$\checkmark$	$\checkmark$	S	$\checkmark$

尽管有着有前景的进展，但LLMs在金融中的应用也面临着数个挑战，如回测中的前瞻性偏倚、与机器人生成内容相关的法律问题、数据污染、信号衰减、推断速度、成本、不确定性估计、维度考虑、可解释性、法律责任、安全性和隐私。解决这些挑战对于确保LLMs在金融应用中的道德和有效部署至关重要。

相关工作：最近，有几个调研探讨了LLMs在金融领域中的应用。例如，Lee et al. [2] 从模型的角度提供了金融LLMs的概述。Li et al. [3] 回顾了当前在金融中使用LLMs的方法，提出了一个指导其采用的决策框架。Dong et al. [4] 对ChatGPT及其相关LLMs在会计和金融领域进行了范围综述。Zhao et al. [5] 关注LLMs在多种金融任务中的整合。

尽管这些贡献，现有的调研往往缺乏对金融特定的实际挑战和机遇的深度探讨，或主要集中于技术方面而未解决更广泛的金融决策和行业实践的影响。本调研旨在填补这些空白，不仅回顾最先进技术，还呈现专门模型、有用基准、创新应用和基本挑战的详细分析。我们的工作独特地从财务中的实际应用出发，提供全面的视角，从而为研究人员和实践者提供有价值的见解。

贡献：我们的主要贡献包括：

• 财务应用和实际见解的全面视角。我们的调查通过提供对LLM在金融应用中的深入审查，弥补了学术研究与实际实施之间的差距。这一全面视角确保了对研究人员和实践者的相关性，突出了LLMs在各种金融任务中变革的潜力。

• 对模型、数据和基准的全面覆盖。我们审查了用于金融应用的特定LLMs，分析其架构、预训练方法和定制。我们还分析了数据集和基准，提供了有价值的资源集合。- 新的挑战与机遇。我们的调查解决了在金融中应用大语言模型（LLMs）所面临的独特挑战，如前瞻偏见、法律问题、数据污染和可解释性。我们探索潜在的解决方案和未来的研究方向，为金融行业的进一步发展提供基础。

图1. 我们论文结构的概述，重点关注模型、应用、数据、代码和基准，以及挑战与机遇。

论文组织：本文结构如下：在第二节中，我们讨论了专门为金融应用设计或微调的各种LLMs。第三节提供了关于各种应用领域的综合调查，包括语言任务、情感分析、金融时间序列分析、金融推理和基于代理的建模。第四节深入探讨了可用于金融LLM研究的数据、代码和基准。最后，第五节探讨了与LLM在金融中应用相关的挑战和机遇。本次调查旨在提供当前LLM在金融应用中状态的综合概述，突出进展、前景和挑战。通过展示当前环境的详细调查，我们希望促进LLM在金融领域的采用和进一步发展，为创新解决方案和改善决策过程铺平道路。

2 模型

2.1 模型集合

LLMs在广泛领域中展示了卓越的能力[6]，[7]，[8]。虽然通用领域的LLMs如GPT系列、Llama系列和BERT在各种自然语言处理任务中表现出色，但对开发金融领域专用LLMs的兴趣也在不断增长。这些专门模型在大量金融数据上进行了训练，使它们能够更好地理解和生成与金融、经济和商业相关的内容。在这一节中，我们将介绍几种突出的金融领域专用LLMs，讨论它们的优势、局限性和在下游金融任务中的潜在应用。

GPT系列：最著名的通用领域LLMs之一是GPT（生成式预训练变换器）系列，由OpenAI开发[9]，[10]，[11]，[12]。基于变换器架构的GPT模型利用自注意力机制和位置嵌入来捕捉文本中的长距离依赖关系。最近，Ploutos[13]，一个基于GPT-4的新的金融LLM框架，被提出来用于可解释的股票运动预测。Ploutos由两个主要组件组成：PloutosGen和PloutosGPT。PloutosGen通过整合包括情感、技术和人类分析专家在内的多样化专家池来应对融合文本和数据信息的挑战，从不同角度生成定量策略。另一方面，PloutosGPT通过使用后视镜提示，利用历史股票数据和专家分析来指导模型，以及动态令牌加权来生成准确且可解释的股票预测理由，以应对传统方法的模糊性。虽然Ploutos展示了更高的预测准确性和可解释性，但也受到潜在专家选择偏见、计算复杂性和数据类型限制的约束。未来的研究可以集中在优化效率、扩展数据多样性和减轻偏见，以进一步提高框架的性能。

BERT：2018年，BERT（双向编码器表征来自变换器）[14]以其深度双向架构革命性地改变了自然语言处理领域，能够学习上下文表征。这一突破导致了几种专用领域变体的发展，特别是在金融领域。基于BERT的基础，FinBERT-19[15]通过在金融文本上持续预训练BERT，以增强其情感分析能力。次年，FinBERT-20[16]通过从头开始进行领域特定的预训练，进一步发展这一方法，专注于金融通信，并利用大规模金融语料库。2021年，FinBERT-21[17]引入了一种混合领域预训练策略，利用通用语料（维基百科和BooksCorpus）和金融领域语料（FinancialWeb、YahooFinance和RedditFinanceQA）。通过同时在通用和金融领域语料库上进行训练，FinBERT-21旨在捕捉与金融文本挖掘相关的更广泛的语言知识和语义信息。这些FinBERT模型在各种金融下游任务中展示了它们的有效性，如情感分析、命名实体识别、问答和文本分类。在提到的FinBERT模型之外，RoBERTa[18]，2019年推出，是BERT的另一个变体。Mengzi-BERTbase-fin[19]，使用20GB的金融新闻和研究报告进行训练，是专为金融应用设计的RoBERTa专业版本。

图2. 2019年金融专用大型语言模型（LLMs）的概述，按其基础模型类型和其他类型分类。

T5：2019年，谷歌推出了文本到文本转移变换器（T5）[20]，这是一个统一框架，将每个文本处理任务视为“文本到文本”的问题。该模型利用编码器-解码器架构，并使用一种称为“跨度破坏”的自监督学习目标进行预训练。这涉及随机掩盖输入序列中的连续文本跨度，并训练模型重构原始文本。在此基础上，BBT（大爆炸变换器）-FinT5[21]专门为中国金融行业开发。该模型结合了知识增强的预训练方法，并基于BBT-FinCorpus——一个涵盖多种来源的大规模金融语料库，包括公司报告、分析师报告、社交媒体和金融新闻。BBT-FinT5得益于T5的文本到文本框架，使其能够处理金融领域内的语言理解和生成任务。然而，作为一个领域特定模型，其在金融以外的通用自然语言处理任务上的表现可能有限。BBT-FinT5可以针对各种金融应用进行微调，包括新闻分类、摘要、关系提取、情感分析和基于事件的问答。

ELECTRA：在2020年，ELECTRA[22]为预训练语言模型引入了一种创新的生成器-判别器框架。该模型通过训练判别器来区分真实令牌和合成生成的令牌，提高效率。在此基础上，研究人员开发了FLANG[23]，这是一个专门为金融领域量身定制的ELECTRA变体。FLANG结合了特定的适应性，如选择性令牌掩蔽和跨度边界目标，以有效处理金融语言的复杂性。尽管FLANG在处理金融术语方面表现出色，并在情感分析和金融文档中的实体识别任务上提供改善的性能，但其专业化可能限制其在非金融环境中的有效性，除非进一步微调。尽管存在这一限制，FLANG在各种下游金融任务中已显示出其价值。它能够精确分析市场报告、准确分类金融新闻标题和可靠识别关键金融实体。

BLOOM：在2022年，BLOOM[24]作为一个基础多语言LLM发布，拥有1760亿个参数。它在一个包含46种自然语言和13种编程语言的大规模文本语料库上进行了预训练。BLOOM以其开放源代码模型的多样性和可及性而受到瞩目，支持多种语言。从BLOOM出发，专注于金融应用的专用版本已经创建，包括BloombergGPT[6]和XuanYuan 2.0[25]。BloombergGPT以其500亿个参数，旨在通过对Bloomberg的金融数据源进行训练，从而服务于金融行业。该模型在特定金融任务上的表现得到了提升，同时保持了整体竞争力。XuanYuan 2.0为中国金融市场创建，是一个大型开源的中文金融聊天模型。它提出了一种新颖的混合调优策略，结合了一般和金融特定数据，使模型在保持一般语言能力的同时，在金融顾问和市场分析等领域特定任务中表现优异。这一策略降低了灾难性遗忘先前知识的可能性，并增强了金融相关任务的准确性。Llama系列：Llama [26] 是一种在2023年推出的LLM，提供从 $7\mathrm{B}$ 到 $65\mathrm{B}$ 参数的灵活模型尺寸。Llama在公开可用的数据集上进行了训练，确保透明度，尽管其规模较小，但在大多数基准上超越了包括GPT-3在内的更大模型。其金融变种包括FinMA [27]、Fin-Llama [28]、Cornucopia - Chinese [29]、Instruct-FinGPT [30] 和InvestLM [31]，为各种金融任务提供专门的能力。其中，基于LLaMA-65B和多样的投资相关数据集的InvestLM，提供可与最先进商业模型相媲美的投资建议。稍后发布的Llama 2 [32]在Llama的基础上进行了各种增强，包括 $40\%$ 更大的预训练语料库、加倍的上下文长度，以及采用分组查询注意力以提高推理可扩展性。它还拥有金融变种，如FinGPT [33]、FinLlama [34]和GreedLlama [35]。特别是，FinGPT是一个开源模型，专注于为开发金融LLM提供可访问和透明的资源。尽管与BloombergGPT相比，其训练数据相对较少，但FinGPT声称提供一种更可访问、更灵活且更具成本效益的金融语言建模解决方案。2024年4月，Meta推出了Llama 3 [36]，具有 $8\mathrm{B}$ 和 $70\mathrm{B}$ 参数模型，展示了最先进的性能和改进的推理能力，标志着它们成为迄今为止最强大的公开可用LLM。LLM社区显然对此感到兴奋，我们期待更多Llama 3的变种在金融LLM模型中出现。

除了上述模型外，还有其他特定于金融领域的LLM，如基于Mistral 7B [38]的FinTral [37]；基于Qwen 1.5-7B聊天模型 [40] 的SilverSight [39]；使用Baichuan-13B [42]作为骨干的DISC-FinLLM [41]；基于InternLM-7B [44] 的CFLLM [43]；以及基于LLaVA [46]的用于金融图表分析的多模态LLM FinVIS-GPT [45]。这些特定领域的LLM利用广泛的金融数据集和先进的训练技术，提供比通用领域模型更准确和上下文敏感的金融分析。随着这一领域的研究持续进展，我们预计将开发出更复杂的金融LLM，可以改变金融行业的各个领域，包括投资策略、风险管理、预测和客户服务。然而，重要的是要承认这些模型的局限性和潜在偏见，并在应用时与人类专业知识和判断相结合。

2.2 零样本与微调

零样本和微调是LLM应用中的两种不同适应方法。零样本（或少样本）学习指的是模型基于其已有知识和泛化能力，正确预测或执行其未明确训练来处理的任务的能力。另一方面，微调则涉及在特定数据集上或针对特定任务调整预训练模型，以提高其在该任务上的准确性和性能 [3]。

当领域特定的准确性至关重要，适应实时变化是必需的，或者定制和隐私是关键考虑因素时，微调是一种优选方法。在实践中，集成与金融相关的文本数据是微调LLM的一种常见方法。Araci [15] 开发了FinBERT，这是BERT语言模型的定制版本，通过在综合金融数据集上进行扩展预训练，包括新闻、文章和推文，并采用战略微调方法实现。FinBERT在金融相关文本分析中设立了新的基准，超越了该领域早期的深度学习方法。

为使微调更高效，提出了几种技术。指令调优 [47] 是一种针对语言模型的微调方法，其中模型被训练以遵循特定的指令，不仅提高了目标任务的性能，还增强了模型的零样本和少样本学习能力，因此在各种金融应用和模型中非常受欢迎。Zhang等 [30] 提出了一种指令调优的FinGPT模型，通过采用指令调优，提升了LLM的金融情感分析能力，将一小部分监督金融情感数据转换为指令数据，从而提高了模型的数值敏感性和上下文理解能力。此外，Zhang等 [48] 将指令调优的LLM与检索增强模块结合，该技术通过补充来自外部来源的相关信息增强语言模型，以提供更丰富的上下文，从而提升模型的预测性能。除了指令调优，研究者们还应用了低秩自适应（LoRA） [49] 或量化LLM [50]，[51]，以更有效地在金融任务上进行适应，例如FinGPT [30]、FinGPT-HPC [52]和基于Llama的模型 [53]。

另一种普遍的方法是考虑较小的模型，因为在今天的机器学习环境中，能源效率和模型的轻量性质至关重要 [54]，[55]，[56]。Rodriguez Inserte等 [57] 表明，较小的LLM可以有效地在金融文档和指令上进行微调，以实现与较大模型相当或更优的性能。Deng等 [58] 提出了一项案例研究，利用LLM对Reddit数据进行半监督金融情感分析，在此过程中，LLM通过上下文学习和推理生成弱情感标签，然后用于训练较小的模型进行生产使用，以实现与最小人类注释相竞争的表现。

虽然预训练和微调使这些模型能够适应各种应用的特定语言特征和风格，但在标记数据有限、快速部署至关重要，或当模块化开发和可解释性被优先考虑时，零样本学习更受青睐。LLM的零样本和少样本能力通过使其能够在不需要大量数据集特定训练的情况下直接应用，强调了其效率。这种效率源于LLM在大量数据集上训练的迁移学习，以及它们在信息处理过程中生成新见解或解决意外问题的自发能力 [59]。这些特性显著拓宽了它们在各个领域的实用性，而无需进一步的训练。例如，Steinert和Altmann [60] 探讨了GPT-4在预测2017年苹果和特斯拉同日股价变动方面的零样本能力，通过比较其与BERT的表现，他们强调了在金融应用中，从GPT-4提取复杂情感的提示工程的重要性。

2.3 为什么在金融领域应用LLM？

在金融分析中整合LLM代表了在金融部门内做出基于数据的决策的革命性转变。这些模型的独特能力源于先进的机器学习技术，这些技术以空前的规模和复杂性解释和处理自然语言。在这里，我们深入探讨在金融应用中利用LLM的核心原因，强调其一般和特定优势。

先进的上下文理解：LLM以其深刻的上下文理解能力而著称。这包括对金融术语、行话和细致表达的全面理解。如此先进的上下文理解显著提升了情感分析的准确性，这是处理金融文档和新闻文章中复杂且经常模糊语言时的一个关键方面。

迁移学习的灵活性：LLM最初是在庞大的互联网文本语料库上进行预训练的，涵盖了广泛的主题和语言。这种预训练使LLM具备了广泛的语言理解能力，随后可以针对特定金融任务进行微调。这种迁移学习的灵活性减少了对大型领域特定数据集的依赖，使其能够在金融领域以最小的领域特定训练数据有效地适应新任务。

实时分析的可扩展性：金融市场的快速变化要求提供及时见解的工具。LLM在快速处理大量文本方面表现出色，使实时推理和情感分析成为可能。这种能力确保金融决策者可以从新闻文章、市场信息、报告和社交媒体中立即获得见解，从而促进更明智和及时的决策。

多模态性：LLM的多模态能力使其应用扩展到文本以外的其他数据形式，如图像、音频和结构化数据 [61]，[62]。在金融方面，这对于整合各种数据源尤其有用，例如来自新闻文章的文本、来自财务报表的数值数据和来自市场图表的视觉数据。例如，将新闻的文本分析与股票价格变动的视觉分析相结合，可以更全面地理解市场趋势和投资者情绪。这种不同数据类型的整合增强了金融分析的稳健性和深度。

可解释性：尽管深度学习模型通常被视为“黑箱”，LLM生成类人输出的能力为可解释性打开了大门。这一特性促进了结果及其背后解释的提供，从而增强了对LLM内部推理过程的理解，并提高了其在金融应用中的信任度和透明度。

定制化：LLM展示了显著的适应能力，能够根据特定金融工具或市场条件进行定制。通过集成领域特定的数据和参数，LLM能够被训练以关注金融市场的特定方面，如债券的风险评估或股票市场的趋势预测。这种方法增强了LLM的分析能力，使其生成的见解能够精细调整，以适应不同金融环境的复杂性。

3 应用

3.1 语言任务

3.1.1 文本工作

许多早期模型，例如基于递归神经网络（RNN），特别是长短期记忆（LSTM）的模型，已展示出在文本序列上实现一定程度的语言理解和执行文本工作的能力 [63]。然而，由于这些模型的架构限制，它们在处理长期依赖关系时遇到困难。具体而言，它们在保持长文本序列的上下文、理解复杂表达、处理大数据集以及有效处理非结构化数据方面面临挑战 [63]，[64]。这种限制在金融领域应用时尤其明显，因为文档的数量庞大，准确和简洁的摘要需求至关重要 [65]。

另一方面，利用变压器模型架构的大语言模型（LLMs）显著提升了该领域的能力。变压器架构以其创新的自注意机制为特征，使LLMs能够根据大量训练数据处理、理解和生成文本 [66]，[67]。这一突破对于克服早期模型所面临的挑战至关重要。通过高效管理长期依赖关系和上下文信息，LLMs能够将复杂的金融叙述简化为简洁的摘要，并提取相关信息 [66]，[67]。这一过程保留了必要的洞察力，促进了信息处理的高效性。

摘要和提取：近期研究有效利用LLMs对金融文档信息进行摘要和提取 [68]，[69]，[70]。由于这些金融文档通常较长，可能超过许多LLMs的令牌限制，各种研究通过将长文档分割成较短的段落，或利用特定模型来解决处理大量金融文本的挑战，提出了不同的框架 [71]，[72]。最近，Yepes等人 [73] 提出了通过使用结构元素而不仅仅是段落来分块文档的扩展方法，用于检索增强生成（RAG），这改善了不进行调优的块大小确定。此外，一些论文建议将长报告分割成十个不同的部分，例如管理层讨论与分析、财务亮点和业务概述，以简化摘要过程 [74]，[75]。类似地，Khanna等人 [76] 利用Longformer-Encoder-Decoder（LED）模型，这是Beltagy等人 [77] 首次介绍的一种变压器架构，它采用可随序列长度扩展的自注意机制，适用于分析长篇金融报告。

图 3. 金融中各种语言任务的示意图。

除了处理文档的长长度外，研究还扩展到了多语言和特定领域的挑战。这包括跨多种语言总结金融文档 [78]；定制语言模型以应对适应日本金融术语的挑战 [79]；在加密货币领域自动化文本摘要模型的微调过程，无需人工标注 [80]；采用多任务学习策略对金融事件进行分类、检测和总结 [81]；解决在金融信息提取中确保准确性和减少错误的挑战 [82]；从年度报告中提取信息以增强股票投资策略 [83]。

管理多样的文档结构：尽管LLMs在处理文本金融数据方面表现出色，但它们通常在处理包含图像、图表和表格的PDF文档格式时面临挑战。这个挑战可能源于它们主要基于文本的本质，难以解释对理解此类多模态文档至关重要的复杂空间布局 [84]。解决这一问题的一个简单方法是将PDF文件转换为机器可读的纯文本。例如，在Yue等人提出的自动化金融信息提取（AFIE）框架中，表格使用PLAIN序列化转换为文本。该方法使用空格和换行符分别分隔单元格和行。这有效地将表格数据与常规段落整合，使LLMs能够统一处理。

然而，这一转换过程可能会改变文档的空间布局，并可能导致嵌入图表或表格中的关键信息的丢失。为了解决这一问题，J.P.摩根团队开发了DocLLM [86]，这是一种针对多模态文档理解的布局感知生成语言模型。DocLLM利用边界框信息理解文档中元素的空间排列。它通过修改变压器中的注意机制，使其集中于文本与空间模态之间的交叉对齐，从而增强文档理解。

命名实体识别：命名实体识别（NER）是信息提取的一个子任务，在从各种金融来源提取有意义的信息方面起着关键作用 [87]，[88]。在金融领域，它用于从新闻文章、财务报告和市场摘要中提取特定实体，例如公司名称、金融术语、股票符号、金融指标和货币值 [89]。这些信息对金融下游任务至关重要，例如行业分类、情感分析、信用评分、欺诈检测和合规报告 [90]。

传统上，NER通过基于规则的方法、机器学习技术或深度学习技术来处理 [91]。基于规则的方法依赖于手工编写的语言和语法规则。它们在模式明确定义的情况下提供高精度，但在可扩展性方面有限 [87]。机器学习技术包括有监督和无监督方法。监督方法利用一套全面的工程特征，例如词级特征和列表查找，结合机器学习算法，例如隐马尔可夫模型 [92]，决策树 [93] 和支持向量机 [94]，以识别和分类文本中的实体。无监督学习方法通过利用聚类、利用词汇资源和模式以及分析语料统计来提取和分类命名实体 [91]。虽然机器学习提供了灵活性，并且能够处理多种数据类型，但它在有监督学习中严重依赖标注数据的可用性，而在无监督学习中可能缺乏可解释性 [87]。深度学习方法利用先进的架构，如双向长短期记忆（BiLSTM）网络、自注意力变压器和条件随机场（CRF）进行标签解码，以有效地学习和表征来自大型数据集的词和字符级特征。这些方法通过捕捉文本中的复杂模式和长期依赖关系显著提高了模型性能 [87]。

随着深度学习方法的出现，LLMs现在在金融领域的NER中越来越多地使用 [95]，[96]。LLMs利用庞大的预训练知识和复杂的语言理解能力，能够显著提高复杂金融文本中实体识别的准确性和效率 [95]。最近，Hille-brand等人 [97] 提出了KPI-BERT，这是一个利用先进的技术进行NER和关系提取（RE）的新系统，通过它可以识别和连接德国金融文档中的关键绩效指标（KPI），例如“收入”或“利息费用”。该系统基于BERT构建了一个可端到端训练的架构，结合了具有条件标签掩蔽的RNN进行序列实体标记，随后进行关系分类。进一步研究利用LLMs进行NER，以提高XBRL（eXtensible Business Reporting Language）标记的效率和准确性 [98]；识别相似的同行公司 [99]；检测负面新闻信息的关键实体 [100]；提取与实体相关的短语 [101]。

尽管LLMs展示了卓越的泛化能力，但在处理长金融文档时，它们有时会伴随高昂的训练和推断成本。为了解决这些问题，Zhou等人 [102] 提出了UniversalNER，这是一个采用针对性蒸馏和以任务为导向的指令调优的模型，用于训练开放NER的低成本学生模型。这种方法不仅降低了计算负担，还在没有直接监督的情况下实现了显著的NER准确性。

3.1.2 基于知识的分析

在金融文本分析中，从文档中总结和提取关键信息对快速理解和处理冗长复杂文本中的重要数据至关重要 [103]。在提取相关信息之后，下一步是利用这些信息解决下游金融任务。本节将介绍与此应用相关的两个主要活动：构建金融关系和文本分类。这些努力对于利用提取的信息增强决策和分析过程在金融行业中是至关重要的。

金融关系构建：通过使用知识图谱构建金融关系，代表了一种强有力的方法，用于组织和理解从广泛复杂的金融数据集中提取的实体及其相互关系 [104]。知识图谱由关于实体（对象、事件、人物等）及其属性，以及链接它们之间关系的相互关联的描述性结构组成。这一框架提供了一种结构化表示数据内关系的方式，并使得能够从中得出复杂的分析 [105]，[106]。

在识别和提取实体（例如公司、个人、金融工具、事件等）以及这些实体之间的关系（例如所有权、交易、法律纠纷等）后，这些信息可以系统地组织成图形格式以进行进一步构建。在知识图谱中，实体被表示为节点，而关系则用连接这些节点的边表示。这一结构提供了一种可视化和可编程的方法，以探索和理解金融生态系统中不同实体之间的连接。随着知识图谱的构建，金融分析师和系统可以利用图分析和机器学习算法发现洞察力、识别模式并预测未来事件 [107]。最近在大语言模型（LLMs）方面的进展促使研究人员探索利用LLMs提取的信息在金融领域构建和分析知识图谱的潜力[108]，[109]，[110]。值得注意的是，Trajanoska等[108]利用LLMs从可持续发展报告中提取结构化的环境、社会和治理（ESG）信息，生成知识图谱，使用包含节点-边-节点格式的三元组，以便于更深入地分析和理解企业的可持续性实践。同样，程等[111]开发了一个语义实体交互模块。该模块将语言模型与条件随机场（CRF）层结合，以理解文本中实体及其语义上下文之间的交互。它能够自动从经纪研究报告中构建金融知识图谱，无需明确的金融知识或 extensive 手动规则。

此外，金融研究分析师在研究复杂金融主题时，经常面临识别关键文档、重要实体和事件的挑战。Mackie和Dalton[112]通过开发自动化方法，从文档和实体中创建详细的查询特定知识图谱来应对这些问题。

如上所示，知识图谱在信息检索中已展现出其效用。在这一领域的一个特殊案例是自然语言（NL）转化为图查询语言（GQL）。这一过程通过利用知识图谱中的关系数据增强了查询体验，相较于传统的文本到SQL方法具有优势。然而，这种方法受到准确映射自然语言到GQL语法的复杂性以及缺乏领域特定示例的挑战，使得很难对LLMs进行微调以精确对齐专业领域的图数据库[106]。为了解决这个问题，Liang等[113]开发了一个流水线，利用LLMs从金融图数据库生成NL-GQL对，无需标记数据。这一过程涉及与ChatGPT创建模板对，并通过自我指导方法对其进行完善。随后，LLMs使用LoRA技术对这些对进行微调，以使模型与图数据库中包含的特定知识对齐。

知识图谱还可以显著增强问答系统。Wang等[114]引入了一种创新的知识图谱提示（KGP）用于多文档问答（MD-QA）。他们的方法从多个文档中构建一个知识图谱，突显段落或文档结构之间的语义或词汇关系。基于LLM的图遍历代理随后利用此知识图谱收集具有上下文相关的信息，从而提高LLM回答问题的准确性。

知识图谱的另一个有益方面是通过LLMs随时间的推移而丰富。Li[115]提出了FinDKG，这是一个在金融领域使用LLMs的动态知识图谱。FinDKG在其结构中结合了时间层，这使其能够反映和适应金融市场、经济指标和主题趋势的变化。这种动态方法为主题投资提供了有价值的见解，使其能够识别和利用长期的行业变化和经济趋势进行战略投资决策。

虽然还有其他使用LLMs进行金融关系提取的研究，但这些研究不一定围绕知识图谱构建[116]，[117]，[118]，[119]。Ghosh等[120]提出了“每次遮盖一个”（MOAT）框架，该框架一次遮盖一个实体，使用领域特定的语言模型（SEC-BERT）提取上下文嵌入，并将这些嵌入与附加特征结合，以训练神经网络来准确分类金融实体之间的关系。同样，Rajpoot和Parikh[121]利用GPT模型进行上下文学习，使用无学习的密集检索器（KNN与OpenAI嵌入），通过相似的嵌入找到最相关的示例，并且使用学习型检索器来选择训练集中与每个测试示例最相似的示例，基于给定输入和一个候选训练示例的输出概率进行估计。集中于多类型中文金融事件关系提取，Wan等[122]提出了CFERE框架，利用核心动词链进行事件识别，构建句法语义依存解析图将事件配对，并通过事件核心嵌入层增强BERT以捕获语义含义。这些研究展示了LLMs和创新方法在促进金融关系提取方面的潜力，为利用金融信息、帮助投资者做出更好投资决策的研究价值做出了贡献。

文本分类：文本分类在组织和理解金融领域大量非结构化数据方面起着至关重要的作用。该分类任务可以进一步细分为几个子任务，如行业/公司分类和文档/主题分类。通过有效地对信息进行分类和组织，企业和研究人员可以提取有价值的见解并做出明智的决策。这些分类技术的利用，结合金融关系的建立，对于利用提取的信息以增强金融领域的决策和分析过程至关重要。

公司或行业分类涉及根据业务活动和市场表现等共享特征将公司分组为不同类别，旨在创建连贯且差异化的群体。识别相似的公司概况是金融领域的一项基本任务，其应用遍及投资组合构建、证券定价和金融风险归因。传统上，金融分析师依赖于行业分类系统，如全球行业分类标准（GICS）、标准行业分类（SIC）、北美行业分类系统（NAICS）和法马-法兰克（FF）模型来识别具有相似特征的公司[123]。然而，这些系统并不提供基于相似程度对公司进行排名的手段，且需要领域专家进行耗时、费力的手动分析和数据处理[123]。

最近，BlackRock的一组研究人员[124]探索了一种使用LLMs进行公司分类的新方法。他们研究了使用预先训练和微调的LLMs，从SEC备案的商业描述中生成公司嵌入。他们的研究旨在评估这些嵌入再现GICS分类的能力，对LLMs在各种下游金融任务中的表现进行基准测试，以及考察预训练目标、微调和模型大小等因素对嵌入质量的影响。结果表明，LLM生成的嵌入，特别是来自微调的Sentence-BERT模型的嵌入，能够准确再现GICS部门和行业分类，并在如基于回报相关性识别相似公司和解释横截面股票回报等任务中优于这些分类。

有趣的是，知识图谱也可以用来丰富行业分类并改善领域特定文本分类任务的表现。Wang等[125]提出了一种新颖的知识图谱增强的BERT（KGEB）模型，该模型将来自本地知识图谱的外部知识与词表示相结合。他们通过基于中国全国股权交易和报价（NEEQ）上市公司的构建的大型数据集，展示了其方法的有效性，并表明KGEB模型超越了竞争对手的基准，包括图卷积网络、逻辑回归、TextCNN、BERT和K-BERT，实现了91.98%的准确率和90.89%的F1得分。

文档或主题分类是金融领域文本分类更广泛范围内的另一个关键子任务。此任务涉及将财务文档或文本（如新闻文章[126]，[127]或公司备案[128]，[129]）分类为预定义的主题或主题。Alias等[130]提出了一种新颖的方法，利用FinBERT模型从在马来西亚证券交易所上市公司的年度报告中提取和分类与关键审计事项（KAM）相关的主题。同样，Burke等[131]微调了FinBERT模型，以在三种未标记的财务披露中对会计主题进行分类，包括财务报表的定制说明、管理层讨论与分析部分以及风险因素部分。

金融领域的另一个重要分类任务涉及对环境、社会和治理（ESG）信息进行分类。此任务需要识别和分类来自多种来源的与ESG相关的数据，如碳排放、多样性与包容性以及公司治理实践，包括公司的可持续发展报告、新闻文章和社交媒体帖子。在一项最新研究中，Lee和Kim[132]提出了一种ESG分类器，能够通过对预训练语言模型进行微调来区分ESG信息。该分类器在一个手动标记的数据集上进行训练，该数据集由来自五个部门的韩国公司的可持续发展报告构建，并在四类分类问题（环境、社会、治理和中立）中达到了86.66%的分类准确率。同样，Mehra等[133]开发了一种领域特定的语言模型ESGBERT，通过利用ESG特定文本微调BERT的预训练权重来增强ESG相关文本的分类。

文本分类技术，包括行业/公司分类和文档/主题分类，在组织和理解金融领域大量非结构化数据方面起着至关重要的作用。最近在LLMs和知识图谱整合方面的进展显著提高了这些分类任务的准确性和效率。这些技术的成功应用进一步提供了有价值的见解，并支持在多种金融情境下进行明智的决策，例如投资组合构建、风险评估和ESG分析。

3.2 情感分析

情感分析作为NLP领域的重要组成部分，是金融应用中最重要的任务之一。它涉及对文本数据中表达的意见、情感、主观性和情绪进行定量探讨[134]，[135]。在金融应用中，这一任务尤为重要，因为市场情感的解读可能导致有影响力的预测和行动[136]。其发展反映了NLP的广泛进步，从基于规则的系统转向复杂的机器学习模型，并且最近转向利用大型预训练语言模型的深度学习方法。

3.2.1 LLM前的情感分析

首先，我们在本节中概述情感分析的重要里程碑，直至在如ChatGPT和BERT等大语言模型（LLM）彻底改变该领域之前的时代。此外，还强调了在金融领域的关键应用，展示了情感分析对各种应用的影响。

基于词典的方法：早期的情感分析依赖于基于词典的方法，其中文本的情感是根据与正面或负面情感相关的预定义单词的出现推断出来的。这些方法简单但在某些应用中有效，包括General Inquirer [137]、语言探测和单词计数（LIWC）词典 [138]、SO-CAL [139] 和Loughran与McDonald（LM）词表 [140]。

基于词典的方法的一个优点是其简单性和可解释性。然而，它们的表现可能受到情感表达的上下文依赖性以及无法捕捉讽刺或反语等复杂语言结构中表达的情感的限制。尽管存在这些局限性，基于词典的方法已在金融领域有效应用，特别是在分析来自金融新闻或社交媒体内容的投资者情感方面 [141]、[142]、[143]。

机器学习方法：随着机器学习的兴起，金融情感分析（FSA）经历了重大进展。基于机器学习的方法可以大致分为监督学习和无监督学习。在进行FSA时，监督学习方法需要标记数据，并包括支持向量机（SVM） [144]、朴素贝叶斯 [145]、KNN（K最近邻） [146]、随机森林 [147] 和多层感知器（MLP） [148] 等技术。相比之下，无监督学习不需要标记数据，通常涉及聚类技术以辨别情感 [149]。

在金融领域，机器学习已被用来根据金融新闻和社交媒体中的情感预测市场走势，展示了其捕捉金融情感细微差别的能力 [166]。机器学习方法的优势在于能够捕捉基于词典的方法所无法发现的数据中的复杂模式。然而，它们需要大量的数据集进行训练，并且在特定领域的适用性有限。

基于嵌入的方法：词嵌入的引入标志着一般情感分析的一个重要里程碑。基于嵌入的方法将文本信息表示为高维空间，其中语义相似的单词更接近。该表示不仅捕捉情感，还捕捉单词的上下文，从而提高情感分析任务的性能。Mikolov等人在2013年推出的Word2Vec [167] 是该领域的开创性发展。Word2Vec利用神经网络从大型数据集中学习单词关联，生成捕捉广泛语言关系和细微差别的嵌入。Word2Vec的创新之处在于其能够有效地从庞大数据集中学习高质量的词向量。它提供了两种架构：连续词袋模型（CBOW）和Skip-gram。CBOW从上下文词预测目标词，而Skip-gram则相反，从目标词预测上下文词，使其在捕捉语义和句法单词关系方面特别有效。

继Word2Vec之后，出现了若干其他嵌入模型，进一步推动了该领域的发展。值得注意的有用于单词表示的全局向量（GloVe） [168]，它引入了一种无监督学习算法，通过从语料中聚合全局单词-单词共现统计获得单词的向量表示；FastText [169]，它扩展了Word2Vec以考虑子词信息，从而增强了稀有词的表示；以及来自语言模型的嵌入（ELMo） [170]，该方法利用双向语言模型生成上下文丰富的单词嵌入。

除了单词级嵌入外，还有一种趋势是捕捉更长的上下文依赖性。这个领域的一个例子是Doc2Vec，也称为段落向量，由Le和Mikolov [171] 提出。Doc2Vec扩展了Word2Vec范式以支持文档级嵌入，使其能够捕捉到文档范围内的上下文信息，这对需要理解扩展文本内容的任务至关重要。通过从可变长度的文本片段学习固定长度的特征表示，Doc2Vec促进了对文档语义的更深理解，从而扩大了嵌入技术在情感分析等领域的适用性。

图4. 按各种数据来源分类的金融情感分析任务的选定代表性论文。

基于嵌入的方法具有捕捉上下文复杂性和单词之间语义关系的优势，显著提高了情感分析的准确性。这使得它们在FSA中也变得流行。Sohangir等人 [172] 强调了这些方法在金融领域的有效性，展示了它们能够从大量非结构化金融数据中以高精度提取情感的能力。

然而，它们也并非没有缺点。一个显著的限制是它们对大数据集进行训练的依赖，这在专业领域中可能并不总是可行。此外，尽管擅长语义理解，但它们可能忽视语法的细微差别，并需要重新训练以适应新的语言使用或词汇。预训练的嵌入也可能延续训练数据中存在的偏见，从而导致公平性和代表性方面的潜在问题。尽管面临这些挑战，基于嵌入的方法在推进自然语言理解方面至关重要，并为像BERT和GPT-3这样的大型语言模型铺平了道路，这些模型在这些嵌入的基础上实现了先进的自然语言处理性能。

3.2.2 使用大语言模型的情感分析

ChatGPT和其他大语言模型的出现代表了金融情感分析领域的一个关键里程碑。如今，这些模型在众多任务中展示了它们的有效性，并为FSA应用提供了几个独特的优势。

首先，LLMs在解析金融语言的复杂性方面表现出色，能够娴熟地处理社交媒体和金融博客中的非正式表达、表情符号、迷因和专业术语 [58]、[60]、[173]、[174]、[175]、[151]。它们在识别讽刺、反语和行业特定术语等细微之处的能力对准确分析各种格式的情感至关重要，从推文到全面的财务报告 [176]、[6]。

其次，LLMs处理多模态数据（包括图像、音频和视频）的能力和巨大潜力对于在财务上下文中进行全面情感分析至关重要，例如收益电话会议 [155] 和FOMC会议 [177]。这种能力允许在情感分析过程中将非语言提示和视觉数据整合进来 [37]。

第三，LLMs处理大量文档的能力使得可以彻底分析详细的财务报告和长篇文章，确保不会遗漏任何带有情感的信息。这个特征对于评估在年度报告、收益记录和广泛的金融叙述中表达的情感特别有益 [157]。

此外，LLMs表现出更强的抵御针对金融情感分析任务中可能遇到的对抗攻击或欺骗性信息策略的能力。它们先进的算法和更广泛的上下文理解帮助识别和减轻误导性或操控性的情感指标，提高情感分析结果的可靠性。Leippold [156] 强调了传统基于关键词的情感分析方法与LLMs在面对对抗攻击时的对比。该研究涉及使用GPT-3用同义词替换负面词汇以评估模型的鲁棒性，展示了FinBERT在对抗攻击方面比传统基于关键词的方法更具韧性。

3.2.3 数据驱动的应用

我们进一步深入探讨了最近在 FSA 中整合 LLM 的进展，按照不同数据源分类分析其影响和贡献。我们通过将数据分为四个关键部分开始这一探索：社交媒体和新闻、企业披露、市场研究报告以及政策和经济指标。这种结构化的方法使我们能够全面理解 LLM 如何在 FSA 领域带来了革命性变化，提供了前所未有的见解和分析能力。

社交媒体和新闻：Twitter 等社交媒体平台，诸如 Reddit 的一般在线论坛，以及诸如 StockTwits 的财经特定论坛，连同金融博客和微博客，已成为 FSA 的丰富数据源。这些平台至关重要，因为它们提供丰富的实时、非结构化文本内容，反映公众对金融市场、特定股票和整体经济环境的情感。这些平台上的讨论的即时性和公共性使它们成为捕捉市场情绪的宝贵资源，这些情绪可以预测未来的市场动向。Su 等人 [150] 利用 BERT 从 Twitter 中提取情感和语义见解，促进了协方差估计的改进并增强了投资组合优化。在此研究中，将文本衍生的协方差数据整合到均值方差优化中，尤其在 COVID-19 崩盘期间实现了超优表现。此外，Steinert 和 Altmann [60] 采用 GPT-4 对 Stocktwits 平台上的微博消息进行情感分析，显著超越了苹果和特斯拉股票的简单买入并持有策略，强调了 LLM 在通过情感分析预测股票价格变动方面的潜力。尽管 LLM 在情感分析方面的有效性，但社交媒体来源提出了独特的挑战，包括信息量巨大、常用口语、可能的选择性偏见，以及信息共享中存在的错误信息或不准确性，这使得准确捕捉和解释市场情绪的任务变得复杂 [178]。

新闻代表了另一个关键数据源，在快速传播和广泛覆盖方面与社交媒体有许多相似之处，但通常更专注于客观事件。与社交媒体常常主观和个人化的性质相反，新闻内容通常来自更具声望和建立的媒体，如《纽约时报》这样的著名报纸，电视广播公司如 CNN 和 BBC，以及财经特定出版物如《经济学人》。尽管有时牺牲了时效性，这些媒体上记者和作家的可信度和专业性赋予了内容更高的可信度。越来越多的证据支持后 ChatGPT LLM 在分析新闻标题情感方面优于早期方法的优势。Lopez-Lira 和 Tang [152] 研究了 ChatGPT 在预测股票市场收益方面的有效性，展示了其准确分配标题情感分数的能力，超越了早期模型如 GPT-2 和 BERT。此外，Fatouros 等人 [153] 揭示了 GPT-3.5 在分析与外汇相关的新闻标题方面相比 FinBERT 提供了相当大的改进。同样，Luo 和 Gong [154] 报告了显著成功的效果，超越了以前基于 BERT 的方法以及像 LSTM 带有 ELMo 的传统方法。这些研究强调了先进 LLM 在决策和量化交易中的重要性。

在这个数字时代，实时新闻的现象越来越普遍。通过直播或在线平台分发，这些新闻源设法在准确性和即时性之间取得平衡，及时提供有关市场状况和可能影响金融情绪的公共事件的见解 [179]。Chen 等人 [180] 研究了使用先进 LLM，如 BERT、RoBERTa 和 OPT 进行情感分析和股票预测。这些模型显著优于传统方法，如 Word2vec，因为它们能够捕捉复杂的文本信息，提供更准确的上下文理解。这也表明，基于 LLM 的模型能够实现更高的夏普比率和更好的表现。至关重要的是，研究显示，新闻信息由于套利限制被延迟纳入股票价格，创造了机会让实时交易策略利用这些低效。这强调了 LLM 在实时金融文本挖掘中的潜力。

企业披露：企业披露在 FSA 中日益被认可其重要性。本节深入探讨企业披露的三个主要类别：财报电话会议、企业通讯以及监管文件和法律文件（如 SEC 文件），每个类别都强调其重要性并附有相关研究。

财报电话会议对于提供有关公司财务健康、战略方向以及管理层对业绩和未来前景的看法至关重要。对财报电话会议记录的情感分析可以揭示可能影响投资者决策和市场认知的潜在基调和情感。Cook 等人 [155] 评估了本地 LLM 在解读财务文本方面的表现，特别是专注于分析疫情后时代银行财报电话会议的语调和内容。他们表明，本地 LLM 在分析金融通讯方面是有效的，显示在银行压力增加的时期，银行财报电话会议的内容向更多的同质性以及较少的积极情感转变。Leippold [156] 利用 GPT-3 演示了金融情感分析对对抗性攻击的脆弱性，强调了 LLM 确保金融文本处理中的 AI 可靠性的必要性。

企业通讯涵盖公司向其利益相关者发布的各种官方声明、新闻稿和公告。这些通讯中所包含的情感可以显著影响利益相关者对公司现状和未来展望的看法。LLM 可以处理这些通讯以评估情感并识别潜在的市场信息。例如，Kim 等人 [157] 说明 ChatGPT 可以显著简化和澄清向投资者发布的企业披露内容，通过减少内容长度并放大情感，同时揭示了财务报告中普遍存在的 “臃肿” - 过多、冗余或无关的信息，这可能会掩盖做出明智投资决策所需的真实见解。

监管文件和法律文件对合规、治理和透明度至关重要，提供有关公司运营、风险和财务状况的大量信息。LLM 可以处理这些复杂的文件，并识别与情感相关的信息，例如诉讼风险、会计不规则性和管理层更迭。Aparicio 等人 [158] 介绍了 BioFinBERT，这是一种利用对监管文件和法律文件（如 10-Q、10-K、6-K 和 20-F 报告）情感分析的精细调优语言模型，连同生物技术公司新闻稿，以执行市场订单并预测生物技术领域股票价格变化。另一篇论文 [159] 研究了公司如何在 $\mathrm{AI}$ 时代调整其监管披露，更加机器可读，从而影响所表达的情感以及信息在金融市场中的传播速度。

市场研究报告：市场研究报告涵盖了包括经济指标、行业分析和消费者行为在内的广泛数据， 对于财经领域的知情决策至关重要。分析师报告和投资研究的重要性在于它们对证券的详细分析和建议，提供了对市场趋势和潜在投资机会的深刻理解。分析师评级，例如 “买入”、“持有” 或 “卖出” 建议，提供了对证券未来表现的另一种简洁评估，为投资者提供了有价值的指南。这些评级建立在严格的财务分析基础上，投资者密切关注这些评级，以评估市场情绪并做出战略投资选择 [160]。

政策和经济指标：在金融情感分析领域，特别是在政策和经济指标方面，重点分析联邦公开市场委员会 (FOMC) 会议纪要、欧洲中央银行 (ECB) 政策决策，以及非农就业数据、失业率、通货膨胀率和 GDP 增长等其他关键指标。这些来源对于理解市场动态和基于政策决策和经济报告中衍生的情感指导投资决策至关重要。

FOMC 会议纪要是了解美国联邦储备货币政策立场的重要信息来源 [181]，[182]。这些会议纪要详细记录了 FOMC 会议期间的讨论和审议，揭示经济前景、通胀预期和潜在利率变化 [161]。研究人员已利用 LLM 分析 FOMC 会议纪要的情感和基调。Kim 等人 [162] 研究发现，尽管 FinBERT 在预测 FOMC 声明的负面情感方面优于传统技术，但仍需要进一步增强和探索替代方法，以优化 FOMC 文本的分析并获得更全面的经济见解。Gössi 等人 [163] 提出了一个经过精细调优的 FinBERT 模型，采用情感聚焦方法，显著提高了对 FOMC 会议纪要中复杂金融句子的情感分析准确性，尤其是那些含有对立情感的连接词的句子。

ECB 负责为欧元区设定货币政策，其政策决策对金融市场产生重大影响 [183]。包括利率变化和资产购买计划在内的 ECB 政策决策受到投资者和分析师的密切关注 [184]，[185]。最近的研究利用 LLM 分析了 ECB 政策决策对金融市场的情感和影响 [164]。利用 FinBERT 模型，Kanelis 和 Siklos [165] 揭示了货币政策演讲中的情感解释了新闻发布会声明的基调，而金融稳定演讲则提供的解释性支持较少，强调了 LLM 在经济沟通中提供详细情感分析的能力。除了FOMC会议纪要和ECB政策决定外，还有几个其他经济指标和研究论文与FSA相关。非农就业数据和失业率能够提供劳动市场的见解，并且可以对市场情绪产生重大影响[186]。通货膨胀率和GDP增长也是人们密切关注的指标，因为它们反映了经济的整体健康状况[187]，[188]。应用LLMs来分析这些经济指标对金融市场的情感和影响值得进一步探索，以便进行未来的研究。

3.3 财务时间序列分析

3.3.1 用于时间序列的LLMs

深度学习革命性地改变了时间序列分析，提供了强大的工具来建模和预测顺序数据[189]，[190]，[191]。著名的深度学习模型，如LSTM网络和CNN，已在捕捉时间序列数据中的时间依赖性和异常方面表现出显著效果[192]，[193]，[194]。

随着LLMs最近流行度的激增，这些工具越来越多地用于协助时间序列任务[195]，[196]。它们提供了多种辅助功能，例如从文本数据中生成额外特征和产生描述性统计，如我们在第3.1节和3.2节中讨论的那样，这可以通过利用超出原始数据的更广泛信息范围来提高时间序列模型的准确性。

除了这些支持角色外，LLMs还被用于直接分析时间序列数据[197]，[198]，这一发展得到了几种因素的支持。这主要归因于LLMs理解和处理顺序数据的能力，这是文本和时间序列之间的共同特征。此外，大多数LLMs背后的Transformer架构已在各种时间序列任务中证明其有效性[199]，[200]，[201]。此外，LLMs表现出显著的多模态能力，这表明，即使仅基于文本的预训练，LLMs也赋予了超出特定数据模态的一般推理和推断能力[202]。这一特征不仅为LLMs在时间序列分析中的直接应用提供了支持证据，还为未来的多模态基础模型铺平了道路[203]。

几个值得注意的研究表明了LLMs在时间序列分析中的有效性。Zhou等人[204]的开创性工作展示了LLMs在预测、异常检测、分类和插补等任务中的多功能性。利用GPT-2作为基础，他们建立了LLMs有效处理和建模时间序列数据的潜力。Gruver等人[205]进一步探讨了预训练LLMs在时间序列预测中的零-shot能力。通过适当的时间序列数据令牌化，他们发现LLMs可以隐式理解时间模式，并在没有明确训练的情况下生成预测。Jin等人[206]应用重编程的概念来增强LLMs在时间序列分析中的表现。这种技术将时间序列数据转换为更易被LLMs理解的表示，导致了最先进的预测结果。除了直接应用LLMs外，研究人员还专注于为时间序列分析开发专门的基础模型[207]，[208]。这些努力旨在为时间序列建模建立一个新范式，利用LLMs技术的优势来捕捉复杂的时间依赖性。

图5 财务时间序列分析的示例插图。

3.3.2 预测

最近的研究探讨了LLMs在金融时间序列预测领域的实用性，展示了这些先进计算工具的潜力和局限性。本节回顾了对我们理解LLMs如何应用于预测股票市场走势和其他金融指标的重要研究。

LLMs可以直接用于股票预测，如[209]所述。他们的研究探讨了使用LLMs进行NASDAQ-100股票预测，并证明通过整合各种数据源，LLMs不仅提供了强大的预测能力，还增强了可解释性。这项研究强调了基于指令的微调和思维链推理的重要性，已经证明可显著提高LLMs在该领域的表现，相较于传统统计模型。另一种方法是将LLMs集成以增强其他神经网络。Chen等人[210]引入了一个框架，利用ChatGPT增强图神经网络（GNN）进行股票走势预测。他们的做法巧妙地从文本数据中提取不断发展的网络结构，并将这些网络纳入GNN进行预测任务。实验结果表明，该模型在年化累积回报和降低波动性等方面持续优于最先进的基于深度学习的基准。

此外，LLMs因其在多模态数据分析中的整合能力而备受瞩目，如前一节所讨论的，这在分析替代数据时至关重要。例如，Wimmer和Rekabsaz[211]引入了创新模型，利用文本和视觉数据预测市场走势。利用基于CLIP的模型，他们的研究表明预测德国股票指数趋势时，显著超越了现有基准。指标如精确度、F1分数和均衡准确度等显示了其有效性。另一个框架是RiskLabs，它结合了多种类型的金融数据，包括来自财报电话会议的文本和声音信息、与市场相关的时间序列数据以及上下文新闻数据[212]。该框架的多阶段过程首先使用LLMs提取和分析这些数据，然后处理时间序列数据以在不同时间范围内建模风险。RiskLabs采用多模态融合技术，将这些不同的数据特征结合，以进行全面的多任务财务风险预测。实证结果表明，该框架在预测金融市场的波动性和方差方面的有效性，说明了LLMs在金融风险评估中的潜力。

然而，LLMs在金融预测中的应用并非没有挑战。Xie等人[213]特别评估了ChatGPT在零-shot多模态股票走势预测任务中的表现，发现其表现不如传统机器学习模型和其他最先进的技术。他们的发现强调了持续研究的必要性，以增强LLMs在复杂金融环境中的预测能力。另一方面，Lopez-Lira和Tang[152]研究了这些模型，特别是GPT-4，如何利用新闻标题作为输入来预测股票市场回报。他们的结果表明，先进的LLMs显著超越了传统模型和早期版本的LLMs。值得注意的是，这些模型在负面新闻后和对小型股票的预测效果较高，这一现象可通过信息扩散、套利限制和投资者成熟度的理论进行解释。关于LLMs在金融预测中的有效性辩论仍在继续，证据支持其局限性和潜力。

尽管早期存在挑战，研究显示LLMs在金融时间序列预测中具有相当大的潜力。可解释性、对新闻的全面理解以及多模态整合是未来研究和改进的重要领域。然而，这也标志着挑战和进一步研究的必要性，以充分实现LLMs在这一领域的潜力。

3.3.3 异常检测

异常检测是各个领域的一项基本任务，尤其在金融领域，识别不寻常的模式或异常值至关重要[214]。例如，识别欺诈性交易或不寻常的账户活动是金融机构的首要任务。异常检测算法可以标记潜在的欺诈行为，防止财务损失[215]。此外，通过交易量和价格模式中的异常检测可以识别市场操纵行为，例如“拉高出货”策略[216]。异常检测在风险评估和缓解策略中也很有价值，因为市场趋势或宏观经济指标中的异常可能预示着潜在风险。

金融时间序列数据，如股票价格，可能非常复杂，具有波动性、季节性和非线性关系。虽然传统统计方法健壮，但往往难以包容这些复杂性，从而限制了它们的异常检测能力。深度学习的发展催生了根本性转变，提供了新的方法论，在该领域具有很大潜力[217]，[218]。特别是，LLMs已成为一项关键方法，在众多任务中表现出卓越的异常检测能力，最近的学术研究证实了这一点[217]，[219]。例如，Park[220]引入了一种基于LLM的多代理框架，将传统统计方法与AI驱动的分析相融合。这种创新融合通过应用于标准普尔500指数进行示范，展示了在金融市场中检测异常的效率、准确性和自动化的显著增强，从而降低了对人工干预的依赖。将LLMs融入金融时间序列异常检测可能变得越来越有价值，这不仅有潜力弥补传统技术的局限，还可以减少人工过程并增强算法交易系统，以利用市场异常，为更复杂和自动化的交易系统铺平道路。

3.3.4 其他时间序列任务

除了预测和异常检测，LLM在多个其他金融时间序列分析领域展现出令人期待的潜力。

分类：金融时间序列可以根据趋势、波动性或其他特征被分类为各种类别。LLM可以学习这些复杂的模式并相应地分配标签。例如，它们可以将股票分类为“成长型”或“价值型”，或者识别不同的市场状态（牛市、熊市等）[221]。LLM可以通过理解和预测指示特定金融行为的模式，来有效地分类金融时间序列数据。这包括我们已经讨论过的情感分析（第3.2节）和异常检测（第3.3.3节）的应用。

数据增强：金融数据集的有限规模和变异性有时会阻碍机器学习模型的表现。生成式人工智能为数据增强提供了一条途径，这涉及生成可以用于训练机器学习模型的合成数据，从而确保即使在原始数据集存在局限的情况下也能保持鲁棒性。Nagy等人最近的一篇论文[222]介绍了一种用于端到端限价单薄建模的生成式AI模型，展示了使用令牌级自回归生成模型在金融市场中生成真实的订单流。该模型利用结构化状态空间层来高效处理长序列的订单薄状态和令牌化消息。该模型在近似数据分布和预测中间价格收益方面表现出良好的性能，暗示在高频金融强化学习中的潜在应用。虽然这项工作重点关注生成式AI而非直接使用LLM，但其方法和见解对增强金融时间序列数据是相关的，强调了生成模型在这一领域的多样性。通过模拟各种市场场景，LLM可以帮助创建更丰富、更具多样性的数据集，有助于建立更准确的预测模型[223]。

填补缺失值：金融时间序列数据通常由于错误或不可用性而受到缺失值的影响。填补缺失值是指在金融时间序列中填补缺失或不完整数据点的方法。LLM有很好的潜力根据其优越的生成能力填补这些缺失值[224]。这在维护金融数据分析的质量和连续性方面特别有用。准确的填补有助于避免由于数据缺口而可能出现的偏见或不准确，从而确保更可靠的金融评估和预测。

总之，LLM在金融时间序列分析中展现出显著的潜力，提供预测、异常检测、模式分类、数据增强、缺失值填补等能力。它们处理和理解复杂金融数据的能力为市场分析开辟了新的路径。随着LLM研究的进展，我们可以期待这些模型在金融时间序列领域应用的持续进步。

3.4 财务推理

LLM在金融领域的另一个关键应用是支持财务推理。正如之前讨论的，LLM能够处理和综合来自各种来源的大量金融数据，包括市场报告、金融新闻和历史定价数据。这种对金融环境和市场动态的全面理解使得LLM能够支持战略财务规划、生成投资建议、提供咨询服务以及协助财务决策。

在财务推理中使用LLM提供了几个关键优势。首先，它们能够通过处理大量金融信息来增强数据分析，识别模式和趋势，从而帮助做出更好的决策。其次，LLM可以用于预测建模，允许它们预测市场状况和资产表现，从而导致稳健的投资建议。此外，LLM还可以提供个性化的咨询服务。它们可以分析个人或组织的财务状况、目标和风险承受能力，以提供定制的建议。另一个好处可以是实时监控和警报，LLM可以监控金融市场趋势和新闻，提供及时的更新和警报，帮助用户根据需要调整其策略。此外，LLM可以提高可及性和参与感。通过将这些模型集成到用户友好的界面如聊天机器人中，财务规划和咨询变得更加易于访问和参与，个人可以掌控自己的财务健康。

在本节中，我们通过文献探讨这些应用，可能会激发进一步的创新。

3.4.1 规划

财务规划涉及设定财务目标、评估当前财务状况并制定实现这些目标的策略。这个过程包括分析收入、支出、投资和风险管理，以制定出全面的长期财务稳定和增长计划。

在企业环境中，LLM可以用于支持财务规划的各个方面。例如，LLM可以分析市场趋势和竞争数据，帮助组织制定商业战略。Nguyen和Tulabandhula [225] 研究了使用生成式AI模型，如GPT-4和其他基于变压器的模型，来发展商业策略。通过使用命名实体识别（NER）和零样本分类器（ZSC）自动提取和分类公司之间的关系，他们创建了动态签名商业网络，反映了竞争和协作的市场格局。这种方法为商业利益相关者提供了市场状况的洞察，并支持战略决策。

此外，LLM可以简化财务规划过程，正如Ludwig和Bennetts [226] 所展示的。通过将ChatGPT集成到财务规划实践中，他们展示了财务规划师如何利用这一AI模型来增强客户沟通并提供针对常见财务问题的即时，半个性化的回应，例如准备经济衰退的措施。它们还突出了ChatGPT在客户教育中的作用以及其简化复杂财务概念以便于理解的能力。尽管拥有这些好处，作者强调了需要人类监督以确保所提供建议的准确性和质量，以解决模型的潜在局限性。

在个人财务规划中，LLM可以帮助个人制定长期财务健康的定制策略。Lakkaraju等人[227]最近的一项研究评估了基于LLM的聊天机器人ChatGPT和Bard在提供个人财务建议方面的表现。这项研究涵盖了个人财务的各个方面，包括与银行账户、信用卡和存款证（CD）的决定有关的问题。它评估了这些模型如何处理复杂的金融互动，并在不同语言和方言（如英语、非洲裔美国人通俗英语和泰卢固语）中做出推荐。研究发现，尽管ChatGPT往往提供更个性化和准确的回应，但这两种模型都面临挑战，包括数学错误、缺乏支持解释的视觉辅助以及在处理非英语查询时的有效性。论文强调了在这些LLM中进行改进的必要性，以增强它们在应用于财务规划时的可靠性和包容性，这一主题将在第5节中进一步讨论。

此外，LLM可以通过在个人和家庭财务模型中整合基于AI的推荐来优化预算策略。de Zarzà等人[228]介绍了一个优化框架，旨在最大化个人预算分配并将此方法扩展到家庭财务，以应对多个收入和共享支出的复杂性。在高净值环境中，LLM还可以用于模拟各种税收情境，确定最佳税收策略，并根据税法的变化提供主动建议，以最小化税收负担并最大化财务增长[229]。

LLM在财务规划中的整合有潜力改变个人和企业对其财务目标的处理方式。通过利用LLM的数据处理和分析能力，财务规划可以变得更加高效、准确和个性化。随着这一领域的研究与发展持续进展，LLM有望成为财务规划环境中的重要工具，帮助用户做出明智和战略性的决策。本节讨论的示例强调了应用的多样性以及LLM在企业和个人环境中革命性地改进财务规划实践的潜力。

3.4.2 推荐

LLM正在通过分析金融数据、预测市场趋势和优化投资组合来革新投资推荐和财富管理。它们根据个体的风险特征和偏好提供个性化建议，从而改善机器人顾问和投资策略。然而，在财富管理中整合LLM需要监管框架，以确保公平性、有效性和与人类专业知识相结合的知情决策。

图6. 各种金融推理任务的插图。

同样，Lu等人[231]探讨了Chat-GPT在生成投资组合推荐方面的潜力。研究人员使用来自《华尔街日报》和中国政策公告的文本数据，评估ChatGPT生成的投资组合超越市场的能力。通过微调和性能测量，研究表明，ChatGPT能够实现高达 $3\%$ 的月度三因素阿尔法，特别是在分析与政策相关的新闻时。他们强调了模型参数（如“温度”设置）在影响推荐创造性和准确性方面的重要性，表明适当调优的生成 $\mathrm{AI}$ 可以成为金融顾问的有价值工具。

另一个领域的发展是Ramyadevi和Sasidharan[232]引入的Cogniwealth系统。该平台利用Llama 2模型作为金融顾问。该系统利用NLP和机器学习技术，协助专业基金研究人员和普通投资者，提供个性化的投资建议和财务见解。Cogniwealth处理用户提供的数据并通过直观的界面提供类人响应的能力，确保高水平的适应性、用户友好性和参与感。

对投资策略的影响：LLMs正在改变投资策略的格局，提供更准确、多样和可获取的投资建议的潜力。Ko和Lee的研究[233]是一个典型例子，他们展示了ChatGPT在构建具有更高多样性和表现的投资组合方面的能力，与随机选择的投资组合相比更具优势。这个发现突显了LLMs作为专业投资组合经理和个人投资者的有价值顾问工具的潜力，民主化了高级投资策略的获取。

LLMs还可以通过自动创建准确且可执行的技术指标代码来影响算法交易策略的发展。Noguer i Alonso和Dupouy[234]进行的研究比较了各种LLMs（如GPT-4-Turbo、Gemini-Pro、Mistral、Llama 2和Codellama）在生成能够正确运行且匹配基准实现代码方面的能力。研究强调了精心设计的提示和模型处理复杂财务计算的能力对于成功代码生成的重要性。

最近，Kim等人[235]研究了一种LLM，特别是GPT-4 Turbo，在进行财务报表分析方面与专业人类分析师的可比性。通过提供标准化和匿名的财务报表，研究考察了模型在没有任何叙述或行业特定上下文的情况下预测未来收益的能力。研究结果显示，LLM不仅在预测收益变化方面超越了人类分析师，尤其是在具有挑战性的场景中，还与专业的最先进机器学习模型的表现相当。作者声称，模型的预测并非来源于其训练记忆，而是通过生成有关公司未来表现的有用叙述见解，从而消除了前瞻性偏差。为了应对这种偏差，研究设计使用一致的匿名格式来处理各公司财务报表，使模型几乎不可能推断出公司的身份。此外，报表不包含任何日期而采用相对年份，从而减轻了模型利用特定年份的宏观经济趋势的担忧。此外，基于LLM预测的交易策略显示出更高的Sharpe比率和阿尔法，相较于基于其他模型的策略。

LLMs在投资策略中的另一个有前景的应用是分析年度报告以提取有价值的见解，从而增强股票投资策略。Gupta[83]引入了一个框架，利用GPT-3.5简化对公司全面10- $\mathrm{K}$ 申请的分析过程。通过将生成的见解与历史股票数据结合，研究表明，基于这些LLM生成特征训练的机器学习模型能够超越传统市场基准，如标普500指数。这种方法突显了将LLMs与历史数据集成以提高股票预测准确性和增强投资策略的潜力。

此外，Zhang等人[236]引入了BreakGPT用于检测财务突破。BreakGPT的多阶段结构通过系统分析价格走势和订单流，提高了在金融市场中检测真实和虚假突破的准确性和稳定性。与ChatGPT-3.5和ChatGPT-4相比，模型的优越表现使其成为交易者和投资者检测财务突破的一种有价值工具。

然而，尽管这些有前景的发展，Chuang和Yang[237]提出了一个重要的担忧，即预训练语言模型（如BERT和FinBERT）中存在的隐性偏见。研究表明，这些模型对某些股票和行业部门表现出显著的偏见，这可能影响投资建议的质量和公平性。他们强调了在金融决策系统中意识到并减轻此类偏见的必要性，以确保更可靠和公正的投资建议。这项研究强调了在金融背景下谨慎模型训练和评估的重要性，以开发强大且负责任的财务顾问系统。

监管和伦理考虑：LLMs在金融顾问服务中的应用引发了重要的监管和伦理问题。Caspi等人[238]审查了监管环境，强调了维持受托责任、确保透明度和防止利益冲突等关键问题。他们讨论了应对生成AI带来的挑战的潜在监管策略，强调需要有效的监管来平衡创新与消费者保护。此外，Niszczota和Abbas[239]研究了GPT模型的金融素养，揭示了GPT-4在金融素养测试中的近乎完美得分。然而，他们也发现，金融知识较低的个人更倾向于依赖GPT的建议。

Lakkaraju等人[240]还比较了基于LLM的聊天机器人（ChatGPT和Bard）与基于规则的聊天机器人（SafeFinance）提供个人财务建议的有效性和公正性。研究发现，尽管ChatGPT和Bard生成的回答流畅，但它们在不同用户群体和语言间表现出不一致性和偏见。相比之下，SafeFinance提供可靠的答案，尽管其泛化能力有限。研究表明，有必要改进基于LLM的系统，以确保财务咨询中的公平性和准确性。

尽管LLMs在转变金融顾问服务方面展现了潜力，但其应用引发了重要的监管和伦理考虑。有效的监管应平衡创新与消费者保护，而教育用户了解AI驱动的财务建议的局限性和潜在偏见，对于促进知情决策至关重要。

3.4.3 支持决策

操作风险管理和合规性是金融行业的重要组成部分，因为它们有助于保护金融机构的完整性、维护消费者利益，并保持整个金融系统的稳定。然而，金融产品的日益复杂、不断变化的法规以及持续的欺诈活动威胁对金融机构构成了重大挑战。LLMs作为增强这些流程的强大工具，提供了复杂的分析能力。通过利用LLMs，金融机构可以提高审核的准确性，简化合规验证，并更高效地检测不一致性。这使得金融机构能够在财务审计和监管合规、欺诈检测和风险管理等关键领域做出明智的决策，最终增强运营弹性并确保遵守监管要求。

财务审计和监管合规：财务审计涉及对财务记录和报表的系统审查，以确保其准确性和符合规定。LLMs越来越多地被用于增强这些流程，通过改善文本匹配和监管解释的准确性和效率[241]。Hillebrand等人[242]进行的一项研究介绍了ZeroShotALI，代表零样本自动列表检查。它结合了GPT-4和一个特定领域的SentenceBERT模型，以增强金融报告中的文本片段与特定法律要求的匹配。这一系统显著提高了财务审计的效率和准确性，相较于传统方法。

此外，Cao和Feinstein[243]进行的另一项研究探讨了使用LLMs（如GPT-4、GPT-3.5、Claude-3-Opus、Gemini-1.5-Pro）来解释复杂的金融法规，特别关注巴塞尔三项资本要求。有效的提示设计和文档加载方法指导LLMs将监管文本翻译为简明的数学框架，旨在显著提高监管解释的准确性。

此外，Choi和Kim[244]通过分析公司的公共叙述披露与GPT-4，开发了一个新的税务审计期间的公司层面度量。他们的度量与IRS（国税局）发布的数据高度一致，揭示了税务审计导致税务规避减少、资本投资减少和股票波动性增加。LLMs 在揭示财务报告中的不一致性和矛盾方面显示出潜力。 Deußer 等人 [245] 进行的一项研究开发了一种创新的方法，通过利用 LLM 的力量（如 GPT-4 和 Llama）来识别财务报告中的差异。该研究采用基于嵌入的段落聚类，以有效地检测不同数据集中的矛盾，包括标注和未标注的财务报告。通过利用句子对数据、文档级数据和智能分桶系统，研究人员优化了 LLM 的查询过程，使其能够有效地识别不一致性和矛盾。该研究的结果表明，财务审计的准确性和效率显著提升，最终减少了进行全面和可靠财务报告审计所需的时间和精力。

欺诈检测与风险管理：欺诈检测和风险管理是维护财务完整性和稳定性的关键组成部分。 LLM 提供了先进的能力，通过复杂的数据分析和模式识别来检测欺诈活动和管理风险。 Feng 等人 [246] 进行的一项研究强调了 LLM 在改革信用评分和风险评估方面的潜力。通过指令调优， LLM 可以匹配或超越传统的信用评分模型，从而实现更具包容性和全面性的评估。然而，该研究还强调需要解决 LLM 中的偏见，以确保公平的财务决策。

此外，Cao 等人 [212] 提出了一个名为 RiskLabs 的新框架，该框架利用 LLM 通过整合来自不同来源的数据来预测财务风险。通过处理和融合来自不同数据类型的特征，包括来自收益电话会议（ECC）的文本和语音信息、市场相关的时间序列数据，以及围绕 ECC 发布日期的背景新闻数据，RiskLabs 的表现优于传统方法和现有模型，提供了对市场动态更全面的理解。

几篇论文探讨了 LLM 在欺诈检测中的应用。 Zhao 等人 [247] 介绍了一种创新的基于 GPT 的模型，用于识别支付系统中的欺诈活动，该模型通过时间和上下文分析出色地捕捉详细的行为序列。 Yang 等人 [248] 提出了 FinChain-BERT 模型，该模型通过关注关键财务术语并优化模型性能，提高了欺诈检测的准确性。 同样， Bhat-tacharya 和 Mickovic [249] 通过在美国证券交易委员会（SEC）数据库的年报 10-K 的管理讨论与分析部分上微调 BERT 模型，展示了其在检测财务报告会计欺诈方面的有效性，超越了现有基准模型。

虽然 LLM 在欺诈检测和风险管理方面显示出很大的潜力，但必须承认并解决这些模型中可能存在的固有偏见。 LLM 的偏见可能导致财务决策中的不公平和歧视性做法。 需要进行持续的研究和开发工作，以减轻这些偏见，并确保 LLM 在金融领域的负责任和道德的部署。

3.4.4 实时推理

实时推理使用户与 AI 驱动系统之间能够即时和动态交互。通过利用 LLM 的广泛知识和理解，金融机构可以部署聊天机器人、虚拟助手和问答系统，为客户和利益相关者提供准确、相关和及时的信息。这些实时应用简化了客户支持，简化了复杂的金融交易，并提供了对金融洞察和建议的即时访问。

聊天机器人和虚拟助手：聊天机器人和虚拟助手正在改变金融机构与客户互动的方式，并简化内部流程。通过利用 LLM 的能力，这些 AI 驱动的工具可以进一步提供更个性化和高效的助手，从而提高客户满意度并提升组织效率。例如， Aggarwal 等人 [250] 提出了一个多用途的 NLP 聊天机器人，结合了 LLM 模型，包括 ChatGPT、BERT 和 DistilBERT。所提系统整合了情感识别、多语言支持和语音转换。这个聊天机器人在提供个性化的财务建议、理解和响应人类情感以及在离线模式下保持功能方面表现出色。

在另一项研究中，Yue 和 Au [251] 介绍了 GPTQuant，这是一种旨在促进投资研究的对话式 AI 聊天机器人。 GPTQuant 利用少样本学习和 LangChain 的集成来生成用于回测和策略分析的 Python 代码。该聊天机器人使用提示模板激活 GPT-3 的能力，展示了在投资组合构建、再平衡和因子分数查询方面的有效性。

最后，Yadav 等人 [252] 介绍了一款利用 LLM 来增强财务对账过程的虚拟助手。该助手自动将自然语言输入生成 SQL 查询，简化和加快会计人员的对账、研究和验证流程。采用检索增强生成（RAG）和少样本提示的检索与细化策略，虚拟助手在生成与账户对账相关的现实世界问题的正确 SQL 查询方面达到了 $95\%$ 的准确率。 LLM 的整合显著提高了生成 SQL 查询的准确性和效率，展示了 LLM 在自动化财务对账中重复和耗时任务的潜力。

问答：由 LLM 驱动的问答系统在理解和响应与财务文件相关的复杂查询方面取得了显著进展。最近的研究集中于增强这些系统的数值推理能力，使其能够处理多步骤计算并从各种数据源中提取相关信息。例如，Arun 等人 [253] 开发了一种利用微调 LLM（如 Llama-2-7B 和 T5）分析财务报告并回答数值推理问题的管道。通过从 PDF 中提取和序列化表格、生成嵌入并在 FinQA 数据集上训练，作者证明了实时分析财务报告的潜力。研究总结认为，通过适当的微调和方法， LLM 能够显著提高财务数据分析的效率和准确性，从而通过快速提取和解释关键信息点，实现动态市场环境中的快速和明智决策。

此外，Phogat 等人 [254] 为包括 GPT-3、GPT-3.5-turbo 和 GPT-4 在内的 LLM 引入了零样本提示技术（ZS-FinPYT 和 ZS-FinDSL），以对财务文件进行复杂的数值推理。通过将推理编码为 Python/DSL（领域特定语言）程序，这些技术减轻了算术限制。对 FinQA、ConvFinQA 和 TATQA 等数据集的评估表明，与基准相比，其表现优越，尤其是在表格/文本数据、多步骤推理和数值问题的处理上。

在一项相关研究中，Srivastava 等人 [255] 研究了 LLM 在财务文件上的数学推理能力。他们提出了一种新型提示策略 EEDP（Elicit-Extract-Decompose-Predict），旨在增强 LLM 在需要多步骤数值推理场景下的表现。对多个 LLM 在财务数据集上的广泛实验表明，EEDP 的表现优于基准策略，如直接提示、思考链（CoT）和思维程序（PoT）。该研究突出了结构化提示策略在提升 LLM 对复杂推理任务表现的潜力，并识别了常见的错误类型，强调了精确的信息提取的重要性。

此外，Xue 等人 [103] 提出了一个专门为金融行业设计的最先进对话系统 WeaverBird。它利用在广泛金融语料库上微调的 GPT 架构的 LLM。这使得 WeaverBird 能够理解并针对复杂的金融查询提供知情的响应，例如在通货膨胀期间的投资策略。通过集成本地知识库和搜索引擎，系统的性能进一步增强，使其能够检索相关信息并生成基于网络搜索结果的响应，并附以正确的来源引用以增强可信度。在广泛的金融问答任务中进行的比较评估表明，WeaverBird 的表现优于其他模型，使其成为金融对话和决策支持的强大工具。

3.5 基于代理的建模

基于代理的建模（ABM）在模拟复杂系统方面是一个重要的进展，特别是在金融领域。 ABM 的核心原则是创建在定义环境中互动的自主代理，从而使复杂现象自下而上地出现。与假设代理行为均一和均衡状态的传统模型不同， ABM 捕捉了描述真实金融市场的行为多样性和适应性策略。这种灵活性使 ABM 成为理解市场动态、投资者行为和各种外部因素对金融系统影响的强大工具。

近年来， LLM 与基于代理的建模的结合为研究和应用开辟了新的途径 [256]，[257]，[258]。凭借其先进的 NLP 能力，LLM 增强了代理的认知功能，使其能够解释和响应大量非结构化数据，例如金融新闻、报告和社交媒体帖子。 LLM 与 ABM 之间的协同作用导致了更现实和适应性的模拟，这对开发稳健的交易和投资策略至关重要 [259]。

在金融领域， ABM 的传统应用集中于建模不同市场参与者之间的互动，例如机构投资者、个人交易者和监管机构 [260]。这些模型已被用于研究监管变更、市场冲击和行为偏见对市场动态的影响。例如，基于代理的模型已被用于模拟高频交易的影响、金融危机的传播以及资产泡沫的形成。 LLM 的加入进一步通过使代理能够以类似于人类分析师的方式处理和响应实时信息，从而增强了这些模型的预测能力和准确性。在本节中，我们探讨了大语言模型(LLMs)与基于代理的建模在各种上下文中的集成。我们讨论了基于LLM的交易和投资代理如何增强决策制定和策略制定。我们还审查了LLM在模拟市场和经济活动中的应用，强调了它们对政策分析和市场预测的影响。此外，我们评估了多代理系统在改善金融过程自动化和监控中的作用，强调这些先进模型在革新金融分析和策略发展中的潜力。

3.5.1 交易和投资

金融市场动态且复杂，需使用先进工具进行有效导航。LLMs在这个领域已证明是强大的盟友，使得智能交易代理得以创建，能够处理大量数据并以高精度执行交易。这些代理利用LLMs的自然语言处理(NLP)能力来解读和综合金融新闻、市场报告及历史数据，显著改善市场预测和交易策略。例如，StockAgent [261] 探讨了AI驱动的交易系统在不同外部影响下模拟和分析股市行为的潜力。它是一个由LLM驱动的多代理系统，旨在模拟真实投资者的行为，并评估宏观经济事件、政策变化及财务报告等外部因素对交易活动的影响。研究发现，不同的LLM（如GPT-3.5 Turbo和Gemini）表现出独特的交易行为和偏好，GPT代理显示出比Gemini代理更为多样和独立的交易风格，而Gemini代理则更趋于同质性和趋势追随。这种差异表明基于LLM的系统可以提供个性化的投资策略和见解。研究还强调，去除财务信息或沟通渠道，如BBS（公告栏系统），可以显著改变交易行为和市场动态，突显了影响股票交易的因素的复杂性和相互依赖性。

LLM应用中的一个显著进展是将多模态数据（文本、数值和视觉）集成到交易代理中。FinAgent [262]就是一个例子，它结合了这些数据类型以支持包括股票和加密货币在内的定量和高频交易。其多样化的记忆检索系统和工具增强特性使FinAgent能够与各种数据源和工具互动，提高在动态交易环境中的适应能力和表现。

基于LLM的交易代理在持续学习和适应方面也表现出色。FINMEM [263] 引入了一种分层记忆和角色设计，增强了代理处理层次金融数据并将见解转化为交易决策的能力。FINMEM的记忆模块受人类认知过程的启发，包括工作记忆和分层长期记忆组件。这种设计使FINMEM能够根据信息的相关性和及时性对信息进行分类和优先排序，保留关键见解更久，从而能够灵活应对新的投资线索。通过现实世界的测试和持续学习，FINMEM演化其交易策略，展示了在动荡金融环境中改善决策和适应能力的能力。类似地，QuantAgent [264]专注于通过双层循环系统实现自我改进。内层循环使用知识库优化响应，而外层循环则涉及现实世界的测试和知识增强。这种迭代方法使QuantAgent能够自主提取金融信号并发现可行的交易机会，展示了LLMs的动态潜力。

图7. 与基于代理的建模相关的金融任务说明

将人类专业知识与人工智能能力相结合是另一个显著进展。Alpha-GPT系列，包括Alpha-GPT [265] 和Alpha-GPT 2.0 [266]，强调了在阿尔法挖掘过程中的人机互动。Alpha-GPT 2.0进一步引入了一种以人为中心的框架，以迭代优化投资策略。这些代理解读交易想法并将其转化为有效的策略，提供有见地和可行的阿尔法。通过利用人类专业知识和人工智能能力，这种方法提高了阿尔法挖掘过程的效率和创造力，从而导致更有效的投资决策。

3.5.2 模拟市场和经济活动

模拟市场和经济活动长期以来是金融研究和政策分析的一个关键方面。传统模拟器通常基于计量经济学模型和系统动态，已成为这一努力的基石。这些模拟器依赖历史数据和既定经济理论来预测未来市场行为。例如，向量自回归(VAR)模型和动态随机一般均衡(DSGE)模型等模型在经济预测和政策分析中得到了广泛应用 [267]，[268]。虽然它们提供了结构化且数学严谨的方法，但传统模拟器在应对现实经济系统固有的复杂性和动态性方面往往面临挑战。它们通常是静态的，假设理性行为和均衡，这可能会限制其对不可预见经济冲击或行为复杂性的准确性和适应性。

相较之下，基于代理的模拟器在模拟经济活动方面代表了显著的进展。这些模型由自主代理组成，每个代理都有不同的行为和决策过程。这些代理在定义的环境中进行交互，从底层涌现出复杂的宏观经济现象。基于代理建模(ABM)的主要优势在于其灵活性和能够模拟具有不同策略和互动的异质代理。这种方法能够捕捉市场的非线性动态，比如反馈回路、市场情绪和适应性行为 [269]。

然而，基于代理的模拟器并非没有挑战。其中一个显著缺点是计算复杂性，因为模拟多个具有复杂交互的代理需要大量的处理能力。此外，开发现实的代理行为和交互规则需要深入的领域专业知识，且可能耗时。尽管基于代理的模拟器可以建模涌现现象，但验证这些模型与现实数据的一致性仍然是一项具有挑战性的任务，通常需要大量的校准和敏感性分析 [270]。

将LLMs与基于代理的模拟器集成代表了经济模拟中的最前沿发展。凭借其先进的NLP能力，LLMs可以增强代理在模拟器中的感知、反思和决策过程。这种混合方法利用了两种技术的优势：基于代理模拟器建模的详细和自适应行为，以及LLMs进行全面数据处理和学习的能力。

Li等人 [271] 的研究展示了这种集成的潜力，证明了模拟复杂宏观经济活动的能力。他们的研究EconAgent展示了如何通过先进机制处理经济数据，使得赋能于LLM的代理能够现实地模拟经济活动。这些代理能够模拟类人决策过程，提供对不同经济因素互动的全面理解。这使得经济趋势和政策变化影响的预测更加准确。配备分层记忆系统的这些代理能够根据实时数据输入和历史分析调整其策略，使其在预测和政策模拟方面具有高度有效性。

同样，Horton [272] 探讨了将LLMs用作经济模拟的计算模型。通过赋予LLMs偏好和决策框架，他们的方法能够模拟类人的经济行为。这些模拟对于社会科学实验和探索经济场景特别有价值，提供了可为政策和战略提供参考的见解。该研究介绍了Homo Silicus代理，旨在通过结合行为经济学的原则来模拟人类经济代理。这使得这些代理可以基于理性分析和情感因素的混合做出决策，从而提供了对经济活动和市场行为的更真实的模拟。

此外，Zhao等人 [273] 研究了基于LLM的代理在模拟环境中的竞争行为，展示了代理之间的竞争如何导致创新策略的出现和性能的提升。他们提出了CompeteAI框架，模拟一个虚拟城镇，其中餐厅代理为争夺顾客而竞争，揭示了竞争是如何推动代理不断适应和改善其策略，与既定的社会学和经济理论相符。

从传统模拟器到基于代理的模型，再到现在的赋能于LLM的代理的演变，标志着经济模拟领域的一次重大进展。将LLMs与ABM的集成为更现实和自适应的经济活动建模提供了一个有前景的途径，捕捉驱动市场和经济的复杂因素之间的相互作用。这种混合方法不仅增强了我们对经济动态的理解，还为预测和政策分析提供了强大的工具。

3.5.3 自动化金融流程

将LLMs融入金融流程改革了金融任务的自动化方式，提供了加强的工作流生成和战略规划能力。这些应用简化了操作，并为复杂的金融任务提供了强大的解决方案。

一个显著的应用是FlowMind [274]，它提出了一种使用LLM自动化金融工作流程的创新方法。FlowMind利用像GPT这样的模型的能力动态生成工作流程，解决了依赖预定义任务的传统机器人流程自动化的局限。该系统使用结构化讲座配方将LLM推理与可靠的API相结合，减轻了幻觉等问题的影响，并通过避免与专有代码的直接交互来确保数据隐私。FlowMind包括一个反馈循环，使用户能够检查生成工作流程的高层描述并进行调整，从而增强系统的适应能力。该方法在使用NCEN-QA数据集（用于评估金融问答任务中的工作流生成的基准）时得到演示，FlowMind的表现显著优于传统方法。该框架展示了LLMs在金融服务中自动化复杂、即兴任务的潜力，同时维护数据完整性和安全性。另一个应用是AUCARENA [275]，它评估拍卖环境中的战略规划和执行，以评估LLM代理的战略推理能力。在升价拍卖中，像GPT-4这样的LLM代理竞争，实时管理预算和调整策略。通过利用信念-欲望-意图模型，代理基于拍卖发展更新信念、调整欲望并重新规划。该设置允许对LLM代理如何管理资源、遵循目标以及在竞争环境中适应新信息进行详细分析。研究表明，LLM代理，特别是GPT-4，在战略规划和资源管理方面是有效的，尽管有时被更简单的方法超越，这突显了LLM设计中进一步改进的空间。AUCARENA展示了LLM在复杂竞争场景中增强决策过程的潜力。

3.5.4 多代理系统

多代理系统在金融分析中的使用利用了LLM的优势，以增强金融策略的稳健性和准确性。多代理系统通过模拟各种代理交互，提供更全面的任务分析，从而提高交易表现。TradingGPT [276] exemplifies 这一方法，其创新的多代理框架旨在进行金融交易。它将记忆组织为三个不同的层次：短期、中期和长期，每个层次都有一个与人类认知过程相匹配的自定义衰减机制。在TradingGPT中，代理可以进行代理间的通信和辩论，增强了其决策能力。每个代理都配备了个性化的交易特性，如风险偏好、风险中立和风险厌恶，这丰富了观点的多样性并提高了决策的稳健性。通过利用分层记忆处理和一致的信息交换，该框架展示了对历史交易和实时市场信号的增强适应性，显著提升了自动化交易的结果。除了交易任务，SocraPlan [277]利用LLM的多代理推理实现有效的公司规划。该框架进行全面的市场研究、客户画像、产品使用分析和销售策略制定。通过将人类洞察与人工智能能力相结合，SocraPlan增强了公司规划，使企业能够制定既创新又基于详细市场分析的策略。SocraPlan采用一种多代理架构，每个代理专注于公司规划的不同方面，例如竞争分析、客户细分或趋势预测。这些专业代理合作提供市场的全景视图，从而帮助企业做出明智的战略决策。

多代理系统还在分析金融情绪或文本信息方面受益，这是我们在第3.1和3.2节中讨论的市场分析和策略制定的关键组成部分。一个例子是HAD [278]，它表示异质代理讨论，采用专注于FSA中的不同类型错误的专门代理。该框架确保每个代理专注于特定错误，例如讽刺、方面不匹配和时间表达，从而使系统在情感分析中针对常见问题更加稳健。HAD框架在多个数据集上显示出准确性和F-1分数的显著提升，证明其在优化金融文本情感分析方面的有效性。另一个例子是[279]，它引入了一个多代理框架，自动检验贷款申请和银行声明之间的信息，该框架由Llama 3等开源模型和GPT-4等闭源模型驱动。尽管运营成本较高，但这种方法比手动审核更经济且更快，为结构性金融审计和合规提供了可靠的解决方案。

此外，多代理系统可用于金融市场的监测和异常检测。Park [220]提出了一个复杂的多代理框架，旨在改善金融数据异常的验证和解释。该框架利用一系列专业的LLM代理，每个代理专注于特定任务，例如数据转换、基于网络的专家分析、利用机构知识、交叉核对和报告整合。这种协作方法提高了异常检测的效率和准确性，减少了手动验证的需要。通过将该框架应用于标准普尔500指数，研究表明异常检测有显著改进，显示出基于LLM的代理可以自主且准确地识别和解释金融市场数据中的异常，从而支持更有效的金融市场监测和决策。

除了多代理系统，代理还可以以自主方式进行自我交互[280]。自反LLM框架SEP [281]，即总结-解释-预测，满足了这一需求，使生成可解释的股票预测成为可能。SEP结合了口头自反代理与近端策略优化（PPO），提供自主和可解释的预测。该框架允许代理对其决策过程进行自我反思，确保预测不仅准确而且可解释。通过增强股票预测的可解释性，SEP提高了投资者和分析师之间的准确性、透明性和可信度。

总之，将LLM整合到金融领域的基于代理的建模中，提供了在交易、投资、金融分析和经济模拟方面的重大进展。这些应用展示了LLM在增强决策、策略制定和市场分析中的多功能性和有效性。该领域未来的研究有望进一步改进这些系统，提高其在不断变化的金融环境中的准确性、效率、可信度和适应性[282]，[283]，[284]。

3.6 其他应用

云计算可以与LLM集成，以提高金融部门的可扩展性、效率和成本效益。如前所述，LLM的先进自然语言处理能力正在被用于自动化复杂流程、改善客户互动以及支持银行决策。在云计算框架中使用无服务器架构，可以为部署这些人工智能模型提供可扩展和高效的平台，消除传统服务器管理的需求[285]。通过利用LLM与无服务器计算之间的协同作用，金融机构可以增强运营韧性，确保合规性，并维持供应商独立性。实际实施，如Kore.AI和Devin框架，已经展示了这种整合的变革性影响。随着金融部门的不断发展，战略性地在云计算中使用LLM有潜力推动显著的创新、运营效率和以客户为中心的服务[286]。

4 数据集、代码和基准

4.1 数据集

本调查论文中使用的数据集涵盖了广泛的金融领域和任务。这些数据集对于训练和评估特定金融任务（如情感分析、问答、关系提取和数值推理）至关重要。几个广泛使用的数据集包括：

• 财务短语库（FPB） [302]：这是一个由情感标签注释的财务短语数据集。由于其详细和领域特定的注释，它被广泛用于金融上下文中的情感分析。

• 财务问答与舆情挖掘（FiQA） [303]：该数据集专注于基于方面的情感分析和基于意见的问答。它包括金融新闻标题和微博，注释了情感和方面类别。该数据集旨在通过要求从金融文本中细致的情感和意见提取来挑战模型。

• FinQA [304]：一个针对金融数据的数值推理设计的数据集。FinQA包括要求理解和处理金融报告中的数值信息的问题。它强调模型执行涉及金融指标和计算的复杂推理任务的必要性。

其他数据集，如ECTSum [305]、FiNER [306]、FinRED [307]、REFinD [117]、FinSBD [308]和CFLUE [309]，在各种特定金融自然语言处理任务中也做出了贡献。这些任务包括财报电话会议总结、命名实体识别、关系提取和金融语言理解评估。总体而言，这些数据集为金融应用中LLM的开发和基准测试提供了坚实的基础。

4.2 基准和代码

此外，我们概述了用于评估LLM在金融领域表现的综合基准。强有力的基准至关重要，因为它们提供了标准化的衡量标准，以客观比较模型，确保金融文本理解和预测的可靠性和准确性。这种系统评估促进了透明性、可重复性和LLM应用的持续改进。共享代码和方法促进了合作，推动了在现实金融场景中的创新和实际实施。

该领域的一项重要工作是FLUE [23]，即金融语言理解评估，旨在解决金融文本带来的独特挑战。它是一个综合基准套件，旨在评估语言模型在各种金融自然语言处理任务上的表现。FLUE包含五项任务：使用FPB数据集进行的金融情感分析、基于黄金新闻标题数据集的新闻标题分类、金融协议数据的命名实体识别、使用FinSBD数据集的结构边界检测，以及使用FiQA挑战数据的问答。此外，本文介绍了FLANG-BERT和FLANG-ELECTRA，这两个模型是专门针对金融数据训练的，采用了新的预训练方法，该方法结合了金融关键词和短语以进行更好的掩蔽，以及跨度边界和嵌入目标，这些内容我们在第2节中进行了介绍。这些基准涵盖了金融自然语言处理中的关键任务，为评估金融语言模型的有效性提供了坚实的平台。

TABLE 2LLM在金融应用中的基准。

名称	年份	任务	模态	模型	语言	开源
PIXIU [27, 287]	2023	多种金融NLP任务，股票预测	文本，表格，时间序列	FinMA	中文，英文	是[1]
FLUE [23]	2022	多种金融NLP任务	文本	FLANG	英文	是[2]
AlphaFin [288]	2024	金融问答，股票预测	文本	Stock-Chain	中文，英文	是 ${}^{\left\lbrack 3\right\rbrack }$
Li et al. [289]	2023	多种金融NLP任务	文本	-	英文	-
BizBench [290]	2023	多种金融NLP任务程序合成	文本，表格，代码	-	英文	是[4]
DOCMATH-EVAL [291]	2023	数值推理	文本，表格	-	英文	是[5]
EconLogicQA [292]	2024	金融问答	文本	$-$	英文	是[6]
FINANCEBENCH [293]	2023	金融问答	文本	-	英文	是[7]
Lakkaraju et al. [240]	2023	金融咨询	文本	-	英文	-
MultiLing 2019 [294]	2019	金融叙述摘要	文本	-	英文	是[8]
R-Judge [295]	2024	安全判断，风险识别	文本	$-$	英文	是[9]
BBT-Fin [21]	2023	多种金融NLP任务	文本	BBT-FinT5	中文	是[10]
CFBenchmark [296]	2024	多种金融NLP任务	文本	-	中文	是[11]
Hirano [297]	2024	多种金融NLP任务	文本	-	日语	是[12]
FLARE-ES [298]	2024	多种金融NLP任务	文本，表格，时间序列	FinMA-ES	西班牙语，英语	是[1]
FinEval [299]	2023	金融领域知识	文本	-	中文	是[13]
ICE-PIXIU [300]	2024	多种金融NLP任务	文本，表格，时间序列	ICE-INTENT	中文，英文	是[1]
SuperCLUE-Fin [301]	2024	各种金融任务	文本	$-$	中文	是[14]

PIXIU [27] 代表了该领域的最新发展，推出了一种综合框架，包括一个名为 FinMA 的金融 LLM、一个大规模多任务指令数据集和一个名为 FLARE（金融语言理解与预测评估基准）的整体评估基准。PIXIU 的特点是其开放资源，使所有组件，包括模型、指令调优数据和基准，公开可用，以促进透明度和进一步的研究。PIXIU 中的指令调优数据涵盖了多种金融任务和模态，包括文本、表格和时间序列数据，确保了全面的模型训练。FLARE 基准在四个金融 NLP 任务（情感分析、新闻标题分类、命名实体识别和问答）和一个金融预测任务（股市波动预测）上评估模型，共涵盖九个数据集。该广泛评估允许对模型在处理多样化金融数据方面能力的全面评估，提供了比以往仅专注于 NLP 的基准更为整体的标准。

此外，还开发了各种其他基准，以评估 LLM 在广泛金融任务上的表现。这些基准与我们在前面章节中讨论的实际应用密切相关，包括语言任务、情感分析、数值推理和综合金融分析。例如，Li et al. [289] 探讨了 LLM 在金融文本分析中的有效性。MultiLing 2019 [294] 和 BizBench [290] 评估模型在总结金融叙述和在商业与金融上下文中进行定量推理的能力。对于可解释的金融预测，基准如 AlphaFin [288] 和 FinanceBench [293] 评估模型在股票趋势预测和金融问答方面的表现。数值推理能力通过基准如 DocMath-Eval [291] 进行评估，该基准测试模型对来自长文档的复杂金融数据的解读和计算能力。综合基准如 R-Judge [295] 和 EconLogicQA [292] 专注于评估风险意识、金融决策中的安全性以及经济上下文中的顺序推理。总的来说，这些基准为评估 LLM 在金融应用中多样化能力的发展提供了良好的前景，确保模型在广泛任务范围内得到测试。

语言的影响：除了上述基准，语言对金融 LLM 表现的影响已成为另一个受到关注的话题，并进行了广泛探讨。此类研究通常专注于为特定语言创建基准或比较不同语言间的模型表现，以了解它们在多样语言上下文中的有效性。

已经开发出若干基准，以评估模型在中文金融领域中如情感分析、命名实体识别、关系抽取和金融新闻摘要等任务上的表现。像 BBT-Fin [21] 和 CFBenchmark [296] 的基准旨在提供全面的数据集和评估框架，针对中文文本的语言和金融细微差别进行了调整。同样，FinEval [299] 和 SuperCLUE-Fin [301] 关注更广泛的金融任务，通过解决合规性、风险管理和投资分析等理论知识和实践应用，推动中文金融 NLP 的发展。在日本的背景下，由Hirano [297] 开发的基准测试评估模型在情感分析、日本注册会计师（CPA）考试审计任务和财务规划师考试问题等任务上的表现。这个基准提供了一个强大的框架来评估模型在日本财务文本中的能力。

此外，还有几项研究探讨了双语能力，以检查不同语言之间财务大型语言模型（LLM）的表现。Zhang等人 [298] 重点比较了西班牙语和英语，突显了模型在处理和理解这些语言的财务文本时所面临的挑战和有效性。Hu等人 [300] 将这种比较扩展到中文和英语，提供了模型在不同语言环境下的泛化和适应能力的见解。

这些特定语言的基准测试和比较研究对理解语言对财务LLM的影响至关重要。它们确保模型能够准确处理和解读各种主要语言的财务信息，从而扩大其在全球金融市场中的适用性和有效性。

5 挑战与机遇

尽管在第2.3节中讨论了将LLM集成到金融应用中的众多优势，但关键是要承认和解决这一创新方法带来的挑战。伴随这些挑战，还存在进一步开发和完善金融应用中LLM的重大机遇。本节将探讨与使用LLM在金融领域相关的关键挑战和机遇，重点关注研究人员和从业者如何合作以克服障碍，开启数据驱动决策的新可能性。

5.1 数据问题

处理高维财务数据：虽然LLM在处理和理解长文本序列中的上下文信息方面表现出色，但在处理高维财务时间序列数据时的表现仍然不确定。金融数据复杂且高度维度化所带来的独特挑战为进一步研究和探索提供了机会。通过研究结合LLM的上下文理解与处理高维数据的专业技术的混合模型的潜力，以及领域特定的预训练策略和LLM与其他机器学习技术的集成，研究人员可以开发强大的AI模型，专门用于分析和理解财务时间序列。这些进展最终可以提升 $\mathrm{AI}$ 在金融领域的表现和适用性，从而实现更准确的预测，更好的风险管理和改进的决策过程。

数据污染：数据污染可能是一种多方面的挑战，可以显著影响这些LLM模型的性能和可靠性。数据污染的第一个方面涉及存在不准确、误导或不相关的数据，例如垃圾广告或故意传播的虚假信息，这些信息被输入到LLM模型中。这种类型的数据污染会严重降低LLM的性能，导致糟糕的决策和金融模型的完整性被削弱，尤其是在使用像ChatGPT这样的基于云的LLM时，因为污染可以在整个训练环境中传播。

此外，数据污染的第二个且日益重要的方面在于越来越多的数据是由LLM自身生成的，而不是由人类生成的。这一现象引发了对用于训练这些模型的数据质量和相关性的担忧。例如，如果财务报告由LLM生成，模型实际上是在从它们自己的输出中学习，这可能导致学习变得越来越僵化和不灵活。模型可能无法捕捉人类表达的真实意图和细微差别，导致生成内容的质量下降。

为了解决这个问题，主要公司正在强调收集高质量、多样化的数据集，包括真实的人际互动。缓解LLM生成的数据污染影响的一个潜在解决方案是开发评估方法，以评估LLM生成数据的有效性。在这种情况下，我们可以提升这些模型的表现和可靠性，从而实现更准确和可信的财务分析和预测。

信号衰减：在迅速发展的金融世界中，广泛采用LLM生成交易策略带来了一个独特的挑战：信号衰减。随着更多市场参与者使用LLM，这些策略的有效性可能会随着时间推移而减少，导致可盈利市场信号的耗竭。然而，这一挑战也为开发能够不断从新数据中学习并随着市场条件演变的自适应LLM提供了机遇。通过利用其处理大量财务信息和识别新兴模式的能力，这些模型可以通过持续的再训练和验证在时间上保持其有效性。

5.2 建模问题

推理速度与成本：平衡快速且具有成本效益的模型推理需求与性能要求是一个重大挑战，因为LLM的计算需求很高。这有时会导致推理成本高昂和速度较慢，尤其是在处理大型数据集时。然而，模型优化和硬件的进步为降低这些成本和提高速度提供了激动人心的机遇。这使得LLM在各种金融应用中更加可及和实用，促进了更有效的资源利用和LLM技术在金融行业的更广泛应用。

例如，Ding等人 [310] 的研究中讨论了一种混合推理方法，建议根据预测的查询难度和所需质量水平，使用路由器动态分配查询给小模型或大模型。这种方法旨在有效地平衡成本与性能之间的权衡。路由器可以经过微调，以确保简单的查询由较小、成本较低的模型处理，而更复杂的查询则指向更大、更强大的模型。这种方法可以显著降低成本——向大型模型的调用减少高达 $40\%$ ——而不影响响应质量。这种优化可以使LLM在金融应用中变得更具经济可行性，在这些应用中，精确性和速度至关重要，从而增强它们在各种金融服务和操作中的采用和实用性。

金融回测中的未来信息遏制偏差：使用LLM回测金融模型带来了一个显著的挑战，即未来信息遏制偏差 [311]。这种偏差发生在模型在训练过程中无意中包含了未来的信息，导致回测结果过于乐观和误导。因此，模型的可靠性和预测准确性受到质疑，因为它可能在未见过的实时数据上表现不佳。解决此问题需要对数据进行仔细处理，并实施强有力的验证技术，以确保回测过程的完整性。

尽管未来信息遏制偏差带来了挑战，但研究人员可以探索创新的解决方案来应对这一问题，并设计出有效缓解其影响的LLM。Kim等人 [235] 提出的一个简单方法是使用匿名数据，LLM无法识别这些数据。这确保了LLM在处理特定公司的问题时无法利用其预训练的记忆。然而，仍应实施强有力的验证技术。作者进行正式分析，以进一步排除有关信息遏制偏差的担忧。

同样，最近的研究 [312] 特别设计了一系列称为TimeMachineGPT（TiMaGPT）的时间点LLM。这些模型在保持时间完整性的数据集上进行训练，确保它们在训练过程中不接触未来的真实信息和语言变化。通过避免在训练期间引入未来信息，TiMaGPT模型可以为时间序列预测和其他动态金融建模提供更准确和可靠的见解。这些模型和训练数据集的可用性进一步增强了结果的透明性和可重复性。

LLM财务输出中的幻觉：在各种财务任务中使用LLM生成的内容引发了关于合法性和可靠性的重大担忧。财务报告须遵循严格的法律和监管标准，而不准确可能导致组织面临严重后果。LLM的一个主要问题是它们可能会生成虚假、幻想或事实不正确的陈述，因为它们是在大量数据的基础上进行训练的。确保LLM生成的内容符合法律标准并且没有错误是复杂的，尤其是在输出可能不会像完整财务报告那样经过严格审查时。缺乏针对机器人生成财务内容的标准化框架和指南可能会进一步复杂化这一过程。

为了解决确保LLM生成财务内容的准确性和可信度的挑战，利用先进工具，如GenAudit [313]，提供了重要的机遇。GenAudit旨在帮助对文档基础任务的LLM响应进行事实检查。它通过修订或删除未经支持的声明来建议编辑，并提出支持事实的证据。人类评审者进行的全面评估表明，GenAudit能够有效识别来自不同领域的各种LLM输出中的错误。该系统旨在提高错误召回率，同时最大限度地减少对精确度的影响，确保大多数错误都被标记并纠正。

LLM响应的不确定性估计：在金融领域，估计不确定性并为模型预测提供置信区间至关重要，因为LLM输出本质上是从一个分布中采样，而不是确定性的。这意味着对LLM提出同样的问题多次可能会产生不同的回答，有些样本可能具有显著的错误。对于财务决策或预测，仅依赖单一样本可能会产生误导。此外，在实际应用这些预测时，错误范围仍然未知，这使得风险控制面临挑战。因此，为了管理风险，有必要对LLM输出执行不确定性估计，并为其预测建立置信区间。这种方法有助于控制错误并减轻风险。发展复杂的不确定性量化方法可以提供更可靠的置信区间，从而增强金融中的风险管理和决策过程。这使利益相关者能够基于LLM的预测做出更明智、更自信的决策。

5.3 基准测试

评估交易策略：除了上述因大规模采用LLM模型而导致的信号衰减外，使用LLM构建交易策略的另一个重要挑战在于评估过程。困难在于目前用于测试LLM生成信号的基准在LLM出现之前就已构建。因此，环境已经改变，难以有效评估这些LLM生成信号的有效性。在LLM之前的环境中曾适合评估交易信号的基准可能不再适用，因为LLM的广泛可用性改变了整体格局。这种环境的变化不是渐进的衰减，而是一个根本性的转变，需要一种新的评估方法。为了应对这一问题，开发适应LLM且与当前市场状态一致的新基准是至关重要的。没有这样的基准，准确评估LLM生成信号的表现就变得困难，导致对其有效性的不确定性。因此，除了传统的信号衰退问题外，改变环境所带来的评估困难也应得到认可并加以解决，以有效利用LLM构建交易策略。

可解释性：金融行业内使用的LLM缺乏可解释性是一个重大挑战。利益相关者需要清楚地了解这些模型如何得出决策，以建立信任并有效利用其输出。开发提升LLM透明性和可解释性的方法是一项持续的努力[152, 209]。通过投资于改善LLM可解释性的研究，金融机构可以在其AI驱动的过程中建立信任和透明度，从而实现更好的决策并提高在金融行业使用LLM的接受度。如PloutosGPT [13]所述，采用两个可量化指标-忠实性和信息性-来验证生成理由的可解释性质量。忠实性衡量模型响应中的事实是否基于给定知识或可从中推导出来，而信息性衡量模型响应中包含的信息量。开发能够解释模型决策的工具可以帮助利益相关者理解并有效利用AI生成的见解。

5.4 伦理问题

良性对齐：确保LLM输出符合社会价值并避免有害建议是一个关键关注点[314]。这涉及确保输出不仅符合伦理标准，还遵守法律法规，避免导致消极行为的建议。这个问题与攻击预防和安全措施交叉。挑战在于将LLM的目标与良性和伦理目标对齐，因为目标不对齐的模型可能会产生意外和潜在有害的后果。 LLM在理解长文档方面具有表格伦理界限的能力，并遵循监管标准。这里的机会在于主动将LLM目标与伦理标准对齐，以减轻风险，确保这些模型积极贡献，尤其是在金融领域。这包括在金融领域开发伦理AI的框架 $\left[315,316\right]$ ，以培养信任和合规性。

法律责任：随着LLM在金融决策中扮演的越来越重要的角色，法律责任和问责的问题变得更加突出。这些模型的复杂性及其潜在误用对确定责任提出了独特挑战，因此建立明确的框架和法规以应对这些问题至关重要。为金融领域使用LLM开发明确定义的法律框架是必要的，以提供确定性并增强利益相关者的信心。通过澄清责任和问责的界限，这样的框架可以促进这些技术的广泛采用，同时确保其负责任的使用。该框架应在LLM被滥用或产生意外后果的情况下分配责任，建立LLM在金融应用中的开发、测试和部署标准，并在LLM造成财务损害的情况下提供警示和赔偿机制。

安全与隐私：鉴于数据泄露和合规性违规带来的重大威胁，金融数据的安全性和隐私性极为重要。在金融领域部署LLM在维护强大数据保护措施和保护敏感信息方面提出了独特挑战。然而，网络安全的进步可以增强LLM使用的金融数据的安全性和隐私性。通过实施强有力的安全协议，我们可以减轻数据泄露的风险，并确保遵守隐私法规，从而建立信任并保护敏感信息。为了进一步防止数据泄露，特别是对于基于云的GPT模型，有必要在本地环境中处理机密数据。这种方法在利用LLM的能力的同时最小化了泄露的风险。随着开源模型的日益普及，组织现在可以在其本地基础设施内利用LLM，确保其金融数据的安全性和隐私性，同时受益于这些模型提供的先进功能。

理解激励：金融行业竞争激烈，加之庞大的资本结果，迫使我们仔细审视推动LLM开发和应用的激励因素。随着LLM在金融等多个领域的日益普及，考虑它们对个人和组织（包括政府机构）的潜在影响至关重要。

围绕AI的伦理问题日益增长。计算机协会（ACM）等专业组织[317]已经制定了伦理和行为规范，以指导AI技术的开发和使用。然而，与医学、法律或工程等受监管的行业不同，LLM开发者并不受类似监督。这种缺乏正式问责机制的状况为确保LLM开发者遵循既定伦理准则带来了挑战。此外，LLM在进行推理和决策时，往往以不透明的方式运作，造成揭示和理解其所有潜在激励的障碍，特别是那些可能导致负面伦理影响的激励因素。

为了解决这一问题，迫切需要增强对LLM建议背后激励的透明度。例如，基金行业正在朝着明确报告基金经理管理费的方向发展。对LLM也应采用类似的方法，以系统地评估其对利益相关者的影响。欧洲已通过AI法案[318]采取主动措施，采取“基于风险的方法”来监管高风险应用并减轻潜在的伤害，例如种族偏见。该框架突显了有效监管与促进创新之间的平衡挑战。

随着LLM的不断发展和融入金融行业，理解和对齐激励对于确保其负责任和有益的应用至关重要。这可能涉及多种方法，包括制定和执行特定行业的伦理准则和最佳实践，了解用于训练系统的数据的组成，促进LLM开发和推荐过程的透明度，实施问责机制以验证对伦理标准的遵守，鼓励LLM开发人员、领域专家、伦理学家和监管者之间的合作，以及教育利益相关者了解LLM的能力、局限性和潜在风险。

最终，自然语言出现在各种情境中：通知、说服、娱乐、教育，等等。因此，我们期望LLM能够在这些构架内被应用。尽管人类在情境感知方面具有卓越的才能，但LLM是否能够在这方面发展其自身能力，仍然令人感兴趣。随着金融行业越来越多地采用LLM，主动和协作的方法来解决伦理问题、对齐激励并确保负责任的应用，对于利用这项变革性技术的好处，同时减轻潜在的伤害至关重要。

6 结论

本次调查提供了关于LLM在金融领域应用的全面概述，强调了它们在提高各种金融任务（如语言任务、情感分析、金融时间序列分析、金融推理和基于代理建模）中的能力。LLM通过高级上下文理解和实时分析，在改善金融流程的效率和准确性方面展现出显著潜力。

尽管其前景可期，数据隐私、可解释性和计算成本等挑战仍需解决，以确保LLM在金融领域的负责任和有效部署。通过总结LLM在金融应用中的当前状态、优点和局限性，本次调查旨在激发进一步的研究和创新。随着研究的持续演变，我们希望本次评审能够鼓励更多关于LLM的潜力和局限性的探索和讨论，推动其在金融领域更具战略性的投资和高效的决策制定。