本文是LLM系列文章,针对《FanOutQA: Multi-Hop, Multi-Document Question Answering for Large Language Models》的翻译。
摘要
日常场景中常见的一种问题是“fan-out”问题,即复杂的多跳、多文档推理问题,需要查找大量实体的信息。然而,在大型语言模型中,很少有资源来评估这种类型的问答能力。为了更全面地评估LLM中的复杂推理,我们提出了FanOutQA,这是一个以英语维基百科为知识库的fan-out问答对和人工注释分解的高质量数据集。我们在数据集中制定了三个基准设置,并对7个LLM进行了基准测试,包括GPT-4、LLaMA 2、Claude-2.1和Mixtral8x7B,发现在长期环境中,当代模型仍有改进文档间依赖性推理的空间。我们提供数据集和开源工具来运行模型,以鼓励评估。
1 引言
2 相关工作
3 FanOutQA数据集
4 基准研究
5 结论
fan-out问题回答给LLM带来了一些挑战,包括将复杂的问题分解为更简单的子问题、检索文档、提取相关信息以及对大量文档进行多跳推理。为了应对大型语言模型中快速提高的