引言
在当今的深度学习和机器学习领域中,处理大规模的嵌入向量是一个普遍的需求。Milvus作为专为管理和查询这些向量而设计的数据库,提供了高效的解决方案。本篇文章将带你深入了解如何创建一个Milvus向量存储,并使用SelfQueryRetriever进行查询。
主要内容
创建Milvus向量存储
首先,我们需要创建一个Milvus向量存储并为其添加数据。在此示例中,我们将使用电影摘要数据集。为了使用云版本的Milvus,必须拥有uri
和token
。
需要注意的是,使用self-query retriever需要安装lark
库,同时还需安装langchain_milvus
包。
%pip install --upgrade --quiet lark langchain_milvus
接下来,我们需要获取OpenAI的API Key以使用OpenAIEmbeddings。
import os
from langchain_core.documents import Document
from langchain_milvus.vectorstores import Milvus
from langchain_openai import OpenAIEmbeddings
OPENAI_API_KEY = "Use your OpenAI key:)"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
embeddings = OpenAIEmbeddings()
docs = [
Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "rating": 7.7, "genre": "action"}),
# 更多文档...
]
vector_store = Milvus.from_documents(
docs,
embedding=embeddings,
connection_args={"uri": "Use your uri:)", "token": "Use your token:)"}, # 使用API代理服务提高访问稳定性
)
创建SelfQueryRetriever
有了向量存储,我们就可以实例化一个self-query retriever。这需要预先提供文档支持的元数据字段信息和文档内容的简要描述。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(name="genre", description="The genre of the movie", type="string"),
AttributeInfo(name="year", description="The year the movie was released", type="integer"),
AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vector_store, document_content_description, metadata_field_info, verbose=True
)
代码示例
下面是如何使用self-query retriever的实际示例:
# 只指定相关查询
retriever.invoke("What are some movies about dinosaurs")
query='dinosaur' filter=None limit=None
# 示例输出:
# [Document(page_content='A bunch of scientists bring back dinosaurs and mayhem breaks loose', metadata={'year': 1993, 'rating': 7.7, 'genre': 'action'})]
常见问题和解决方案
- 如果在使用API时遇到网络问题,可以考虑使用API代理服务来提高访问稳定性。
- 确保在创建Milvus连接时提供正确的
uri
和token
。
总结和进一步学习资源
Milvus为处理和查询大规模向量提供了便捷的工具。通过结合使用Langchain和OpenAI的工具,开发者可以构建强大的应用。如果想进一步深入了解,可以参考以下资源。
参考资料
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
—END—