RAG之优化策略

 RAG是一个系统工程，在整个流程中我们可以做诸多层面的优化，下面分条介绍：

Input Enhancement

对输入query的优化，又称作query改写，改写方式包括问题分解，查询扩展等。具体内容可以参考另一篇文章RAG之query改写优化_rag query改写-CSDN博客。

Retriever Enhancement

 检索模块提供的内容质量越高，生成模块的效果越有保证。提升检索文章质量的以下几种方式。

    a) recursive Retrieve 对用户query进行合理切分，再分别进行检索。

    b) chunk optimaization 调整数据库/文档分块的大小，例如sentence-window retrieval这种检索到特定文本后，将该文本的窗口内其他文本也一同返回。

    c) finetune retriever 利用高质量的领域数据或者特定任务数据对embedding模型进一步微调。

    d) 嵌入适配器，这是一种功能强大但使用简单的技术，可以扩展嵌入式内容，使其更好地与用户的任务保持一致，利用用户对检索文档相关性的反馈来训练适配器。

适配器是全面微调预训练模型的一种轻量级替代方法。目前，适配器是以小型前馈神经网络的形式实现的，插入到预训练模型的层之间。训练适配器的根本目的是改变嵌入查询，从而为特定任务产生更好的检索结果。嵌入适配器是在嵌入阶段之后、检索之前插入的一个阶段。可以把它想象成一个矩阵（带有经过训练的权重），它采用原始嵌入并对其进行缩放。

    e) hybrid retrieve 同时利用稠密检索跟稀疏检索等多种检索方案

    f) re-ranking 利用额外的精排模型对召回结果做进一步排序。需要更多计算成本。例如使用交叉编码器重排序；交叉编码器是一种深度神经网络，它将两个输入序列作为一个输入进行处理。这样，模型就能直接比较和对比输入，以更综合、更细致的方式理解它们之间的关系。

    g) meta-data filtering 利用某些属性对数据做进一步过滤，相当于条件查询。

Generator Enhancement

生成模型的能力决定了整个RAG系统的上限。

    a) prompt engineering 懂得都懂，大模型对于prompt还是很敏感的，正确掌握大模型的使用方式可以得到足够惊艳的效果。

    b) decoding Tuning 在decoder阶段增加更多控制，调整解码参数以提升多样性，或者将输出词表限制到特定空间等等。

    c) finetune generator 对生成模型做进一步finetune使得生成模型更适配特定领域或者检索模块。

Result enhancement

    若生成模型的结果未能达到预期效果，还能对结果进一步修饰。这里文中提到的方法貌似不够全面，目前很火热的rethink或者refine都没有提及。

RAG pipeline enhancement

    a) adatpive retrieval 在检索模块前新增一个模块，根据用户query判断是否需要调用外部知识库，避免滥用检索造成的资源浪费跟模型幻视问题。

    b) iterative RAG 迭代RAG，反复调用检索-生成这个pipeline以获得更佳效果