如何通过集成多个检索器提升结果精准度

最新推荐文章于 2024-11-04 21:48:47 发布

tt_jishu

最新推荐文章于 2024-11-04 21:48:47 发布

阅读量330

点赞数 7

文章标签： windows python linux

本文链接：https://blog.csdn.net/tt_jishu/article/details/142697429

版权

# 如何通过集成多个检索器提升结果精准度

## 引言

随着信息检索技术的发展，单一检索算法的局限性逐渐显露。为了提升检索的精度和效率，集成多种检索器的策略应运而生。本文将介绍如何利用`EnsembleRetriever`来整合多个检索器的结果，并介绍如何通过算法互补实现更优性能。

## 主要内容

### 什么是EnsembleRetriever

`EnsembleRetriever`是一种支持将多个基础检索器（`BaseRetriever`）的结果进行集成的工具。它基于互惠排名融合算法（Reciprocal Rank Fusion）对不同检索器的结果进行重新排序，从而达到更好的结果表现。

### 为什么要使用多个检索器

- **稀疏检索器（Sparse Retriever）**：如BM25，擅长基于关键词匹配查找相关文档。
- **密集检索器（Dense Retriever）**：如基于嵌入相似度的检索器，擅长基于语义相似性查找相关文档。

### 基本用法

这里展示如何将`BM25Retriever`与`FAISS`向量存储派生的检索器进行整合。

```python
# 安装必要的库
%pip install --upgrade --quiet rank_bm25 > /dev/null

from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

# 准备文档列表
doc_list_1 = [
    "I like apples",
    "I like oranges",
    "Apples and oranges are fruits",
]

# 初始化BM25和FAISS检索器
bm25_retriever = BM25Retriever.from_texts(
    doc_list_1, metadatas=[{"source": 1}] * len(doc_list_1)
)
bm25_retriever.k = 2

doc_list_2 = [
    "You like apples",
    "You like oranges",
]

embedding = OpenAIEmbeddings()
faiss_vectorstore = FAISS.from_texts(
    doc_list_2, embedding, metadatas=[{"source": 2}] * len(doc_list_2)
)
faiss_retriever = faiss_vectorstore.as_retriever(search_kwargs={"k": 2})

# 初始化集合检索器
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

# 调用检索器
docs = ensemble_retriever.invoke("apples")
docs

运行时配置

可以在运行时使用可配置字段对个别检索器进行动态配置。例如，更新FAISS检索器的"top-k"参数：

from langchain_core.runnables import ConfigurableField

faiss_retriever = faiss_vectorstore.as_retriever(
    search_kwargs={"k": 2}
).configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs_faiss",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

# 使用配置调用检索器
config = {"configurable": {"search_kwargs_faiss": {"k": 1}}}
docs = ensemble_retriever.invoke("apples", config=config)
docs