本文是LLM系列文章,针对《CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models》的翻译。
摘要
检索增强生成(RAG)是一种通过引入外部知识源来增强大型语言模型(LLM)能力的技术。这种方法解决了LLM的常见局限性,包括过时的信息和产生不准确“幻觉”内容的趋势。然而,评估RAG系统是一个挑战。大多数当前的基准测试主要集中在问答应用程序上,而忽略了RAG可能有益的更广泛的场景。此外,他们在实验中只评估了RAG管道的LLM组件的性能,而忽略了检索组件和外部知识数据库构建的影响。为了解决这些问题,本文构建了一个大规模、更全面的基准,并在各种RAG应用场景中评估了RAG系统的所有组件。具体来说,我们指的是描述用户和知识库之间交互的CRUD操作,还将RAG应用程序的范围划分为四种不同的类型——创建、读取、更新和删除(CRUD)。“创建”是指需要生成原创、多样化内容的场景。“阅读”包括在知识密集的情况下回答复杂的问题。“更新”侧重于修订和纠正已有文本中的不准确或不一致之处。“删除”是指将大量文本概括成更简洁的形式。对于这些CRUD类别中的每一个,我们都开发了不同的数据集来评估RAG系统的性能。我们还分析了RAG系统的各个组成部分的影响,如检索器、上下文长度、知识库构建和LLM。最