Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems

本文是LLM系列文章，针对《Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems》的翻译。

摘要

LLM和RAG系统现在能够处理数百万个或更多的输入token。然而，评估此类系统在长上下文任务上的输出质量仍然具有挑战性，因为像“大海捞针”这样的任务缺乏复杂性。在这项工作中，我们认为总结可以在这种评估中发挥核心作用。我们设计了一个综合Haystacks文档的程序，确保特定的见解在文档中重复。然后，“Haystack摘要”（SummHay）任务需要一个系统来处理Haystack，并在给定查询的情况下生成一个摘要，该摘要可以识别相关见解并准确引用源文档。由于我们对Haystack摘要中应该出现的见解和应该引用的文档有着精确的了解，我们实现了一种高度可复制的自动评估，可以在两个方面对摘要进行评分——覆盖率和引用率。我们在两个领域（对话、新闻）中生成Haystacks，并对10个LLM和相应的50个RAG系统进行大规模评估。我们的研究结果表明，SummHay对当前系统来说是一个公开的挑战，因为即使是提供了Oracle文档相关性信号的系统，在联合评分中也比我们对人类绩效的估计（56%）落后了10多分。如果没有检索器，像GPT-4o和Claude 3 Opus这样的长上下文LLM在SummHay上的得分低