Re-ranking 从原理到实现的两种主流方法

原文地址：https://pub.towardsai.net/advanced-rag-04-re-ranking

2024 年 2 月 14 日

重新排序在检索增强生成（RAG）过程中起着至关重要的作用。在简单的 RAG 方法中，可以检索大量上下文，但并非所有上下文都一定与问题相关。重新排序允许对文档进行重新排序和过滤，将相关文档置于最前面，从而提高 RAG 的有效性。

本文介绍了 RAG 的重新排名技术，并演示了如何使用两种方法合并重新排名功能。

重新排序（Re-ranking）简介

图 1：RAG 中的重新排序，重新排序的任务是评估这些上下文的相关性，并优先考虑最有可能提供准确且相关答案的上下文（红色框）。

如图1所示，重新排序的任务就像一个智能过滤器。当检索器从索引集合中检索多个上下文时，这些上下文可能与用户的查询具有不同的相关性。有些上下文可能非常相关（在图 1 中以红色框突出显示），而另一些上下文可能只是轻微相关甚至不相关（在图 1 中以绿色和蓝色框突出显示）。

重新排名的任务是评估这些上下文的相关性，并优先考虑最有可能提供准确且相关答案的上下文。这使得LLMs能够在生成答案时优先考虑这些排名靠前的上下文，从而提高响应的准确性和质量。

简单来说，重新排名就像开卷考试时帮助你从一堆学习材料中选择最相关的参考文献，以便你更高效、更准确地回答问题。本文介绍的重排序方法主要可以分为以下两种：

• 重新排序模型：这些模型考虑文档和查询之间的交互特征，以更准确地评估它们的相关性。
• LLM：LLM的出现为重新排名开辟了新的可能性。通过彻底理解整个文档和查询，可以更全面地捕获语义信息。

重排序模型作为重排器

重新排序模型与嵌入模型不同，它将查询和上下文作为输入，直接输出相似性得分而不是嵌入得分。值得注意的是，重新排序模型是利用交叉熵损失进行优化的，因此相关性得分不局限于特定范围，甚至可以是负分。

目前，可用的重新排序模型并不多。一种选择是 Cohere 提供的在线模型，可以通过 API 访问。此外，还有一些开源模型，如 bge-reranker-base 和 bge-reranker-large 等。

图显示了使用命中率（Hit Rate）和平均倒数排名（Mean Reciprocal Rank，MRR）指标的评估结果：

Boosting RAG: Picking the Best Embedding & Reranker models

从评估结果可以看出：

• 无论使用哪种嵌入模型，重新排序都能显示出更高的命中率和 MRR，这表明重新排序具有重大影响。
• 目前，最好的重新排名模型是 Cohere，但它是一项付费服务。开源的 bge-reranker-large 模型具有与 Cohere 相似的功能。
• 嵌入模型和重新排序模型的组合也会产生影响，因此开发人员可能需要在实际过程中尝试不同的组合。

本文将使用 bge-reranker-base 模型。

环境配置

导入相关库，设置环境变量和全局变量

import os
os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_KEY"

from llama_index import VectorStoreIndex, SimpleDirectoryReader
from llama_index.postprocessor.flag_embedding_reranker import FlagEmbeddingReranker
from llama_index.schema import QueryBundle

dir_path = "YOUR_DIR_PATH"

目录中只有一个 PDF 文件，即 "TinyLlama: An Open Source Small Language Model"。

(py) Florian:~ Florian$ ls /Users/Florian/Downloads/pdf_test/ tinyllama.pdf

使用 LlamaIndex 构建检索器

documents = SimpleDirectoryReader(dir_path).load_data()
index = VectorStoreIndex.from_documents