FinGPT——金融领域开源大模型

背景

FinGPT 是2023年6月哥伦比亚大学联合上海纽约大学推出全新大模型产品，这是一款面向金融领域的大模型产品。

论文：https://arxiv.org/abs/2306.06031
github：https://github.com/AI4Finance-Foundation/FinGPT

论文摘要

大型语言模型（LLMs）展示了在不同领域中革新自然语言处理任务的潜力，引发了金融领域的极大兴趣。获取高质量的金融数据是金融语言模型（FinLLMs）面临的首要挑战。虽然像BloombergGPT这样的专有模型利用了其独特的数据积累优势，但目前需要一些开源的替代方案，以实现互联网规模的金融数据的民主化。

在本文中，我们介绍了一个针对金融行业的开源大型语言模型FinGPT。与专有模型不同，FinGPT采用了以数据为中心的方法，为研究人员和实践者提供了可访问和透明的资源来开发他们的FinLLMs。我们强调了自动数据筛选流程和轻量级低秩适应技术在构建FinGPT中的重要性。此外，我们展示了一些潜在的应用，例如机器人顾问、算法交易和低代码开发。通过开源AI4Finance社区的协作努力，FinGPT旨在刺激创新，民主化FinLLMs，并在开放金融中开辟新的机会。两个相关的代码库分别是：https://github.com/AI4Finance-Foundation/FinGPT，https://github.com/AI4Finance-Foundation/FinNLP。

人工智能的持续扩展和演进为大型语言模型的普及提供了肥沃的土壤，从而在不同领域的自然语言处理中带来了一场变革性的转变。这一巨大的变化引发了人们对这些模型在金融领域潜在应用的浓厚兴趣。然而，很明显，获取高质量、最新的相关数据是开发高效的开源金融语言模型的关键因素。

在金融领域利用语言模型面临着复杂的障碍。这些障碍包括获取数据的困难、处理多样化的数据格式和类型、处理数据质量的不一致性，以及对最新信息的基本需求。特别是，由于不同的数据介质，如Web平台、API、PDF文档和图像，历史或专业金融数据的提取变得复杂。

在专有领域，像BloombergGPT这样的模型利用其对专业数据的独占访问来训练针对金融领域的语言模型。然而，其数据收集和训练协议的限制性可访问性和透明性凸显了对更开放和包容性的替代方案的需求。为了满足这一需求，我们正在见证向开源领域中民主化互联网规模的金融数据的趋势转变。

在本文中，我们针对与金融数据相关的上述挑战，并介绍了一个名为FinGPT的端到端开源框架，用于构建金融领域的大型语言模型（FinLLMs）。FinGPT采用以数据为中心的方法，强调数据获取、清理和预处理在开发开源FinLLMs中的关键作用。通过倡导数据可访问性，FinGPT旨在促进金融领域的研究、协作和创新，为开放金融实践铺平道路。

我们的贡献总结如下：

民主化：作为一个开源框架，FinGPT旨在民主化金融数据和FinLLMs，揭示开放金融中未开发的潜力。

以数据为中心的方法：认识到数据筛选的重要性，FinGPT采用了以数据为中心的方法，并实施了严格的数据清理和预处理方法，以处理各种数据格式和类型，从而确保高质量的数据。

端到端框架：FinGPT采用了一个全面的框架，用于构建FinLLMs，包括四个层次：

（1）数据源层：该层确保全面的市场覆盖，并通过实时信息捕获来解决金融数据的时间敏感性。

（2）数据工程层：为实时NLP数据处理进行了优化，该层应对金融数据中的时间敏感性和低信噪比的固有挑战。

（3）LLMs层：该层专注于一系列的微调方法，减轻金融数据的高度动态性，确保模型的相关性和准确性。

（4）应用层：展示实际应用和演示，该层突出了FinGPT在金融领域的潜在能力。

相关工作

大型语言模型（LLMs）和ChatGPT

大型语言模型（LLMs）已被公认为自然语言处理的技术突破，例如GPT-3和GPT-4 。它们采用了基于Transforme