高阶RAG技巧（三）检索优化：元数据过滤、排除向量搜索异常值、混合搜索、嵌入模型微调

最新推荐文章于 2025-04-12 17:22:54 发布

大模型面试

最新推荐文章于 2025-04-12 17:22:54 发布

阅读量889

点赞数 25

文章标签：语言模型人工智能自然语言处理 AI大模型 agi LLM RAG

本文链接：https://blog.csdn.net/Code1994/article/details/145831932

版权

三、检索优化

检索优化策略旨在通过直接操纵与用户查询相关的外部数据检索方式来改善检索结果。这可能涉及优化搜索查询，例如使用元数据筛选候选或排除异常值，甚至涉及微调外部数据的嵌入模型以提高底层嵌入本身的质量。

1、元数据过滤（Metadata Filtering）

元数据是附加在向量数据库中每个文档或块上的附加信息，可提供有价值的上下文以增强检索。这些补充数据可以包括时间戳、类别、作者信息、来源参考、语言、文件类型等。

从向量数据库检索内容时，元数据有助于通过过滤掉不相关的对象（即使它们在语义上与查询相似）来优化结果。这缩小了搜索范围并提高了检索信息的相关性。

使用元数据的另一个好处是时间意识。通过将时间戳合并为元数据，系统可以优先处理最近的信息，确保检索到的知识保持最新和相关。这在信息新鲜度至关重要的领域尤其有用。

为了充分利用元数据过滤，重要的是要仔细规划并选择能够改善搜索而不会增加不必要复杂性的元数据。

2、排除向量搜索异常值（Excluding Vector Search Outliers）

定义返回结果数量的最直接方法是明确设置前 k 个 (top_k) 结果的值。如果将 top_k 设置为 5，我们将获得五个最接近的向量，无论它们的相关性如何。虽然很容易实现，但这可能会包括较差的匹配，因为它们被截断了。

以下是两种隐式管理搜索结果数量的技术，它们可以帮助排除异常值：

距离阈值（Distance thresholding）通过设置向量之间的最大允许距离来添加质量检查。距离分数高于此阈值的任何结果都会被过滤掉，即使它本来可以达到 top_k 截止值。这有助于消除明显的不良匹配，但需要仔细调整阈值。

Autocut 更具动态性：它查看结果距离的聚类方式。它不使用固定限制，而是根据结果与查询向量的相对距离对结果进行分组。当组间距离分数出现大幅跳跃时，Autocut 可以在该跳跃处截断结果。这会捕获可能通过 top_k 或基本距离阈值的异常值。

3、混合搜索（Hybrid Search）

混合搜索结合了基于向量的语义搜索和传统的基于关键字的方法的优势。该技术旨在提高 RAG 系统中检索信息的相关性和准确性。

混合搜索的关键在于“alpha”（a）参数，它控制着语义和基于关键字的搜索方法之间的平衡：

a = 1：纯语义搜索
a = 0：纯基于关键字的搜索
0 < a < 1：两种方法的加权组合

当我们同时需要上下文理解和精确关键字匹配时，这种方法特别有用。

考虑一家软件公司的技术支持知识库。用户可能会提交“更新后 Excel 公式计算不正确”之类的查询。在这种情况下，语义搜索有助于了解问题的上下文，可能会检索有关公式错误、计算问题或软件更新影响的文章。同时，关键字搜索可确保不会忽略包含“Excel”和“公式”等特定术语的文档。

因此，在实施混合搜索时，根据我们的特定用例调整 alpha 参数以优化性能至关重要。

4、嵌入模型微调（Embedding Model Fine-Tuning）

现成的嵌入模型通常在大型通用数据集上进行训练，以嵌入广泛的数据输入。但是，嵌入模型可能无法捕获较小、特定于领域的数据集的上下文和细微差别。

在自定义数据集上微调嵌入模型可以显著提高嵌入的质量，从而提高 RAG 等下游任务的性能。微调可以改进嵌入，以更好地捕获数据集的含义和上下文，从而在 RAG 应用程序中实现更准确、更相关的检索。

我们的数据集越小众，它就越能从嵌入模型微调中受益。具有专业词汇的数据集（如医学或法律数据集）是嵌入模型微调的理想选择，这有助于扩展领域外的词汇，并提高 RAG 流水线中信息检索和生成的准确性和相关性。

要微调现有的嵌入模型，我们首先需要选择一个想要改进的基础模型。接下来，通过向模型提供特定于域的数据来开始微调过程。在此过程中，损失函数会调整模型的嵌入，以便语义相似的项目在嵌入空间中放置得更近。要评估微调后的嵌入模型，我们可以使用一组精选的查询-答案对验证集来评估 RAG 流水线中的检索质量。现在，该模型已准备好为我们的特定数据集生成更准确、更具代表性的嵌入。