FINANCEBENCH是首个评估语言模型在财务问答中表现的测试套件，包含10231个问题及答案。研究发现，包括GPT-4-Turbo在内的先进模型在财务QA上存在显著局限性，错误回答或拒绝回答的比例高达81%。尽管增强技术能提升性能，但延迟和适用性问题限制了其在企业应用。模型的幻觉和其他弱点也增加了财务分析的风险。建议在使用AI进行财务QA时，需进行模型评估、使用多种信息源和结果验证。
本文是LLM系列文章，针对《FINANCEBENCH: A New Benchmark for Financial Question Answering》的翻译。
@TOC
摘要
FINANCEBENCH是第一个用于评估LLM在开放财务问答（QA）方面的性能的测试套件。它包括10231个关于上市公司的问题，以及相应的答案和证据串。FINANCEBENCH中的问题在生态上是有效的，涵盖了一系列不同的场景。它们旨在明确而直接地回答，作为最低性能标准。我们在来自FINANCEBENCH的150个案例样本上测试了16种最先进的模型配置（包括GPT-4-Turbo、Llama2和Claude2，带有矢量存储和长上下文提示），并手动审查了它们的答案（n=2400）。这些案例都是开源的。我们发现，现有的LLM在财务QA方面有明显的局限性。值得注意的是，GPT-4-Turbo与检索系统一起使用时，81%的问题被错误回答或拒绝回答。虽然使用更长的上下文窗口来输入相关证据等增强技术可以提高性能，但由于延迟增加，这些技术对于企业设置来说是不现实的，并且无法支持更大的财务文档。我们发现，所有被检查的模型都表现出弱点，如幻觉，这限制了它们对企业使用的适用性。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
