使用OpenSearch实现自查询检索器的实践

OpenSearch是一个以Apache License 2.0许可的开源软件套件，适用于搜索、分析和可观测性应用。它基于Apache Lucene，是一个分布式的搜索和分析引擎。在本篇文章中，我们将演示如何使用OpenSearch向量存储与自查询检索器结合使用。

1. 技术背景介绍

OpenSearch不仅提供了强大的搜索和分析功能，还支持向量搜索，这是利用矢量近邻查找技术实现的高效搜索方式。结合自然语言处理（NLP）模型生成的向量表示，我们可以实现更智能的文档检索。

2. 核心原理解析

自查询检索器(SelfQueryRetriever)通过结合向量搜索和基于元数据的过滤器，能够从多维度检索文档。它依赖于用户输入的查询和文档中的元数据字段，动态生成检索策略。

3. 代码实现演示

首先，我们需要准备OpenSearch向量存储并加载一些文档数据：

# 安装必要的库
%pip install --upgrade --quiet lark opensearch-py

import getpass
import os
from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 设置OpenAI API Key
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 初始化嵌入生成器
embeddings = OpenAIEmbeddings()

# 创建文档集
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他文档...
]

# 创建OpenSearch向量存储
vectorstore = OpenSearchVectorSearch.from_documents(
    docs,
    embeddings,
    index_name="opensearch-self-query-demo",
    opensearch_url="http://localhost:9200",
)

接下来，创建自查询检索器：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 定义文档的元数据字段信息
metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 其他字段信息...
]

# 初始化语言模型
llm = OpenAI(temperature=0)

# 创建自查询检索器
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description="Brief summary of a movie", metadata_field_info=metadata_field_info, verbose=True
)

测试自查询检索器：

# 查询关于恐龙的电影
results = retriever.invoke("What are some movies about dinosaurs")
for r in results:
    print(r.page_content)

4. 应用场景分析

这种架构特别适用于需要结合语义理解的复杂搜索场景，例如电影推荐、文档管理系统中的智能搜索等。

5. 实践建议

• 谨慎选择元数据字段，确保它们对检索结果有明确的影响。
• 在向量存储中，定期更新文档集以保持搜索结果的相关性和准确性。
• 使用合适的嵌入模型以获取最佳的检索效果。

结束语：如果遇到问题欢迎在评论区交流。

—END—