Pistis-RAG：一种新的RAG框架

Pistis-RAG: A Scalable Cascading Framework Towards Trustworthy Retrieval-Augmented Generation

在希腊神话中，Pistis 代表诚信与信任，与 LLM 系统中 RAG 的核心理念相契合。Pistis-RAG 框架通过多阶段设计，有效应对大规模 RAG 挑战。各阶段分工明确：匹配精炼搜索范围，预排序聚焦语义相关文档，排序则迎合 LLM 偏好。推理与聚合阶段更支持复杂思维链方法的实施。我们指出，LLM 与外部知识排序间的弱关联，源于 RAG 框架的模型中心倾向。而内容中心策略则强调 LLM 与外部信息的无缝融合，优化任务特定内容转换。我们的排序阶段创新性地认识到，仅凭语义相关性未必能提升生成质量，这一洞察基于少数样本提示顺序的敏感性。为此，我们设计了专为 RAG 系统定制的排序阶段，兼顾信息检索原则与 LLM 偏好及用户反馈。通过整合上下文学习与推理步骤，确保用户反馈的有效融入，实现高效对齐。MMLU 基准测试显示性能提升 9.3%，模型与代码将开源。大规模实际数据实验证实了框架的可扩展性。

https://arxiv.org/abs/2407.00072

1. 背景

传统RAG架构面临两个主要问题：

• • 一是准确检索相关知识

• • 二是在生成质量和计算效率之间找到平衡点

此外，将检索到的信息与LLM生成的输出整合起来，需要考虑诸如语义对齐、提示工程和用户偏好等多个因素，仍是一个复杂的任务。传统的RAG方法可能未能充分考虑LLMs处理和优先级信息的细节，导致在实际应用中表现不佳。

今天这篇论文提出了Pistis-RAG这一创新框架，解决了检索增强生成中的关键挑战，提升了效率和效果。Pistis-RAG采用了包含匹配、预排名、排名和重排名的多阶段检索流程。框架采用了以内容为中心的方法，确保检索到的信息与用户需求和LLM能力完美对接

2. 以内容为中心 vs 以模型为中心

Pistis-RAG与其他RAG最大的区别在于，Pistis-RAG是以内容为中心，传统RAG是以模型为中心。下图展示了传统RAG的以模型为中心的架构设计：

这类架构设计从类似LangChain 以模型为中心的视角来看：突出了模型在执行任务时的核心作用，重点放在了模型自身的强大功能上，而不仅仅局限于内容的流转和变化过程。

Pistis-RAG的核心是以内容为中心，如下图所示：

以内容为中心的视角将任务视为内容形态的转变过程，流程包括：

• • 内容获取：根据用户意图从外部知识库获得信息，确保检索到的内容与用户意图任务相吻合。

• • 内容转换与融合：结合检索到的内容和模型的能力，为用户需求生成新内容提供指导，可能包括：指令、摘要等。

• • 内容呈现：生成新的内容，呈现给用户。

以内容为导向的视角，体现了外部知识在整个过程中的核心地位，其中长期记忆是该系统的主要输入源，推动整个内容转换生产流水线的运作。

3. 什么是Pistis RAG？

Pistis-RAG是一种多阶段级联检索与生成框架（Multi-Stage Cascading Retrieval and Generation）该框架包含五个关键步骤：匹配、排名、重排、推理和聚合。匹配阶段，检索算法精准挑选与库中相关的文档；排名阶段，通过语义分析进一步优化文档评分，确保与查询的高相关度。重排阶段调整文档排序，以符合LLM的偏好，确保响应的连贯性。推理阶段通过探索多种序列，增加了响应的多样性。最后，聚合阶段将各响应综合，以确保输出的一致性。

3.1 第一阶段：匹配（筛选）

匹配这一步融合了多种先进的信息检索技术，以最小化在线大规模检索的延迟：

• 向量存储：对于基于向量的检索方法，如近似最近邻搜索，至关重要。能够高效存储文档的向量表示，快速进行与用户查询向量相似度的比较。

• 倒排索引：基于关键词检索的核心数据结构，能够迅速定位包含用户查询关键词的文档。如用户搜索某一特定词汇，倒排索引能迅速指导匹配服务找到包含该词的文档。

在大型工业应用中，匹配服务也可能与外部搜索引擎结合，以获取更广泛的信息资源，但这通常因网络通信而增加延迟。

选择合适的检索技术和数据结构，需根据应用的具体需求来定。例如，若追求更高精确度，可结合使用近似最近邻搜索、倒排索引、BM25和TF-IDF方法。

还需注意，匹配服务存在局限，可能在处理含糊或复杂查询时效果不佳。

3.2 第二阶段：预排名（语义细化）

基于检索到的片段获得的完整文档来细化评分过程。使用交叉编码方法，根据文档与用户查询的语义相关性进行评分，提高排序过程的准确性。

3.3 第三阶段：排名（LLM对齐）

通过与LLM的偏好对齐来细化文档排名，确保最相关的信息在提示模板中处于有利位置，优化LLM的性能。

3.4 第四阶段：重排名（领域特定要求）

重排名阶段虽然是可选的，但在领域特定要求中，如官方文件撰写或关键决策场景中评估信息来源的可信度，扮演着至关重要的角色。

3.5 第五阶段：推理（多路径CoT策略）

LLM同时根据不同的检索输出生成答案，增强内容多样性和聚合阶段的决策能力。

3.6 第六阶段：聚合（一致性检查）

聚合服务接收一系列推理结果，并根据用户的原始查询定制出结构化的答案，确保内容的逻辑性、表述的清晰和简洁，并持续吸引用户的注意力。

无缝整合并发推理结果：该服务将并行推理过程的输出流畅地结合起来，确保了结果的一致性和连贯性。通过自我一致性检查等技术手段来验证和协调聚合后的结果。

针对行业特性的优化：为了在行业环境中提升聚合效果，聚合服务融入了多个关键要素：

• 引用与透明度：通过在行业背景下引用可靠来源，增强了信息的可信性。这可能包括引用权威资源，并提供数据来源的透明度。同时，展示推理过程，例如思维链和决策步骤，以提供更深入的洞察。

• 定制化格式：通过应用行业标准的格式化技术，如Markdown，提升了内容的可读性和视觉吸引力。遵循格式化规范确保了与既定标准的一致性，帮助用户更好地理解。

• 内容安全整合：在对安全性要求较高的环境中，集成了内容安全检查，以排除潜在的有害或不当内容。通过实施算法和协议来筛选聚合的信息，确保符合行业安全标准和法规。

聚合服务通过整合这些要素，不仅巩固了推理结果，更提升了最终用户响应的质量、可信度和安全性，为用户提供了流畅而丰富的体验。

3.7 技术细节

下表展示了 Pistis RAG各个阶段的作用、使用的技术细节。

通过消融实验，作者评估以下几种配置：(1) 未经增强的基础配置；(2) 集成了所有组件的完整Pistis-RAG系统；(3) 缺少排名阶段反馈标签整合的配置；(4) 没有采用多路径推理和聚合的配置。

可以看到集成了所有组件的 Pistis RAG比基础配置F1得分提高了4.54个百分点。