超越GPT-4 ，金融分析新突破：FinTral多模态大模型

人工智能咨询培训老师叶梓 转载标明出处

在金融领域，对大量非结构化数据的处理和分析一直是行业面临的重要挑战。为了解决这一问题，由不列颠哥伦比亚大学和Invertible AI的研究团队共同提出了一套名为FinTral的先进多模态大模型（LLMs）。FinTral模型专为金融分析而设计，它整合了文本、数值、表格和图像数据。金融文档通常包含密集的数字信息和特定领域的术语，模型具备高级的数字处理和推理能力。

图 1为FinTral与ChatGPT (GPT-3.5) 和 GPT-4在七个任务类别上的表现比较分析。这些任务包括情感分析（SA）、命名实体识别（NER）、数字理解（NU）、文本摘要（TS）、股票走势预测（SMP）、信用评分（CS）和公司披露（FD）。FinTral在没有经过特定任务训练的情况下就能展现出良好的性能。

FinSet数据集

在构建FinTral模型的过程中，研究团队开发了FinSet，这是一个高质量、20亿token的大规模数据集，专门用于金融领域的大型语言模型（LLM）训练。FinSet的建立基于2.9亿份文档，总计1359亿个token，这些文档经过精心清洗，以确保数据的相关性和准确性。清洗流程包括去除重复内容、过滤非金融领域文档、排除敏感信息，并且最终形成了20亿个token的精简数据集。图2为FinSET金融训练和评估基准，包括预训练数据、指令调整数据、多模态指令数据、金融AI反馈数据和下游任务。

预训练数据集是FinSet的基础，它包含了以下类型的文档：

• C4：包含2.8亿份文档，124亿个token，清洗后剩下11.75亿个deduplicated tokens。
• 新闻：5150万份文档，8.7亿个token，清洗后剩下5.65亿个deduplicated tokens。
• SEC文件：430万份文档，3.1亿个token，清洗后剩下2.55亿个deduplicated tokens。
• 社交媒体：71.7万份文档，820万个token，清洗后剩下787万个deduplicated tokens。
• 新闻稿：12万份文档，310万个token，清洗后剩下155万个deduplicated tokens。