[打造强大的检索系统：用Lord of the Retrievers合并多重搜索结果]

jaioyfpo

于 2024-10-08 03:08:59 发布

阅读量138

点赞数 5

文章标签： oracle 数据库服务器 python

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142749691

版权

# 打造强大的检索系统：用Lord of the Retrievers合并多重搜索结果

## 引言

在信息爆炸的时代，如何快速准确地获取相关文档成为一大挑战。为了提高检索精度，Merger Retriever（俗称Lord of the Retrievers）提供一种合并多个检索器结果的方法。本文将介绍如何使用Merger Retriever来优化文档检索，并提供完整的代码示例。

## 主要内容

### 什么是Merger Retriever？

Merger Retriever可以将多个检索器的结果合并，减少偏差，并按相关性排序，使最相关的文档优先返回。这对于复杂的检索任务尤其有用。

### 如何实现Merger Retriever？

我们使用不同的嵌入模型和Chroma数据库来创建多个检索器，然后通过Merger Retriever合并它们的结果。以下是实现过程：

```python
import os
import chromadb
from langchain.retrievers import (
    ContextualCompressionRetriever,
    DocumentCompressorPipeline,
    MergerRetriever,
)
from langchain_chroma import Chroma
from langchain_community.document_transformers import (
    EmbeddingsClusteringFilter,
    EmbeddingsRedundantFilter,
)
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_openai import OpenAIEmbeddings

# 获取多个嵌入
all_mini = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
multi_qa_mini = HuggingFaceEmbeddings(model_name="multi-qa-MiniLM-L6-dot-v1")
filter_embeddings = OpenAIEmbeddings()

ABS_PATH = os.path.dirname(os.path.abspath(__file__))
DB_DIR = os.path.join(ABS_PATH, "db")

# 实例化两个不同的Chroma数据库索引
client_settings = chromadb.config.Settings(
    is_persistent=True,
    persist_directory=DB_DIR,
    anonymized_telemetry=False,
)
db_all = Chroma(
    collection_name="project_store_all",
    persist_directory=DB_DIR,
    client_settings=client_settings,
    embedding_function=all_mini,
)
db_multi_qa = Chroma(
    collection_name="project_store_multi",
    persist_directory=DB_DIR,
    client_settings=client_settings,
    embedding_function=multi_qa_mini,
)

# 定义两个不同的检索器
retriever_all = db_all.as_retriever(
    search_type="similarity", search_kwargs={"k": 5, "include_metadata": True}
)
retriever_multi_qa = db_multi_qa.as_retriever(
    search_type="mmr", search_kwargs={"k": 5, "include_metadata": True}
)

# 使用Merger Retriever合并检索结果
lotr = MergerRetriever(retrievers=[retriever_all, retriever_multi_qa])

代码示例

以下代码展示如何使用Merger Retriever并移除冗余结果：

# 使用API代理服务提高访问稳定性
filter = EmbeddingsRedundantFilter(embeddings=filter_embeddings)
pipeline = DocumentCompressorPipeline(transformers=[filter])
compression_retriever = ContextualCompressionRetriever(
    base_compressor=pipeline, base_retriever=lotr
)