[论文笔记]Corrective Retrieval Augmented Generation

引言

今天带来论文Corrective Retrieval Augmented Generation的笔记，这是一篇优化RAG的工作。

大型语言模型(LLMs) inevitable(不可避免)会出现幻觉，因为生成的文本的准确性不能仅仅由其参数化知识来确保。尽管检索增强生成(RAG)是LLMs的一个可行补充，但它严重依赖于检索文档的相关性，这引发了如果检索出现问题模型会如何行为的担忧。

作者提出了纠正式检索增强生成(CRAG)来提高生成的鲁棒性。具体来说，设计了一个轻量级的检索评估器，用于评估针对查询的检索文档的整体质量，根据返回的置信度程度来触发不同的知识检索操作。由于从固定和有限的语料库中检索只能返回次优的文档，因此利用大规模网络搜索作为扩展来增强检索结果。此外，还设计了一个分解-重组算法，用于对检索文档进行选择性关注关键信息并过滤掉其中的无关信息。CRAG是即插即用的，可以与各种基于RAG的方法无缝耦合。

总体介绍

​ 先前的研究引入了检索技术来整合相关知识并增强生成，例如检索增强生成(RAG)。在这个框架中，模型的输入通过在外部知识语料库中检索到的相关文档被前置以增强(RAG)。虽然RAG作为LLMs的一个可行补充，但其有效性取决于检索文档的相关性和准确性。