使用向量存储检索器提升文本查询效率：完整指南

qq_37836323

于 2024-10-03 16:26:55 发布

阅读量71

点赞数 1

文章标签：服务器运维 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142693143

版权

引言

在现代信息检索系统中，向量存储检索器是一个强大的工具。它利用向量存储来检索文档，通过相似性搜索和最大边际相关性（MMR）等方法高效查询文本。本文将深入探讨如何使用向量存储创建检索器，并配置搜索类型和参数。

主要内容

创建向量存储并实例化检索器

首先，我们需要实例化一个向量存储。在这个例子中，我们使用内存中的FAISS向量存储。

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
loader = TextLoader("state_of_the_union.txt")
documents = loader.load()

# 分割文本
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

# 创建向量存储
embeddings = OpenAIEmbeddings()
vectorstore = FAISS.from_documents(texts, embeddings)

实例化检索器

通过as_retriever方法，我们可以将向量存储包装为检索器。

retriever = vectorstore.as_retriever()

这样就创建了一个检索器，我们可以使用它来查询文本：

docs = retriever.invoke("what did the president say about ketanji brown jackson?")

最大边际相关性检索

默认情况下，检索器使用相似性搜索。若需要，支持最大边际相关性搜索的向量存储可以被配置为使用该搜索类型。

retriever = vectorstore.as_retriever(search_type="mmr")
docs = retriever.invoke("what did the president say about ketanji brown jackson?")

设置搜索参数

相似度分数阈值

可以设置相似度分数阈值，只返回超过该阈值的文档：

retriever = vectorstore.as_retriever(
    search_type="similarity_score_threshold", search_kwargs={"score_threshold": 0.5}
)
docs = retriever.invoke("what did the president say about ketanji brown jackson?")

限制返回文档的数量 `k`

可以通过参数限制返回的文档数量：

retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
docs = retriever.invoke("what did the president say about ketanji brown jackson?")
len(docs)  # 输出：1