引言
在当今高速发展的AI和数据驱动世界中,高效的向量检索服务至关重要。DashVector是一个由达摩院独立开发的高效向量引擎Proxima支持的全托管服务,能够自动扩展,适应不同应用需求。本文将介绍如何使用DashVector进行向量存储和检索,特别是通过SelfQueryRetriever实现高效查询。
主要内容
1. DashVector概述
DashVector通过简单易用的SDK/API接口,提供了强大的向量管理和检索功能,可快速集成到AI应用中。无论是多模式AI搜索,还是复杂的分子结构分析,DashVector都可以为你提供支持。
2. 安装和设置
在使用DashVector之前,你需要安装dashvector
和lark
包,并获得API密钥。
%pip install --upgrade --quiet lark dashvector
3. 创建DashVector向量存储
通过以下Python代码,可以创建一个DashVector向量存储,并初始化数据。
import os
import dashvector
client = dashvector.Client(api_key=os.environ["DASHVECTOR_API_KEY"]) # 使用API代理服务提高访问稳定性
from langchain_community.embeddings import DashScopeEmbeddings
from langchain_community.vectorstores import DashVector
from langchain_core.documents import Document
embeddings = DashScopeEmbeddings()
client.create("langchain-self-retriever-demo", dimension=1536)
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "action"},
),
# 更多文档...
]
vectorstore = DashVector.from_documents(
docs, embeddings, collection_name="langchain-self-retriever-demo"
)
代码示例
使用SelfQueryRetriever从向量存储中检索数据。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_community.llms import Tongyi
metadata_field_info = [
AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
AttributeInfo(name="year", description="The year the movie was released", type="integer"),
# 更多元数据字段...
]
document_content_description = "Brief summary of a movie"
llm = Tongyi(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
# 示例查询
retriever.invoke("What are some movies about dinosaurs")
常见问题和解决方案
- API访问限制:由于网络限制,开发者可能需要使用API代理服务来提高访问稳定性。
- 数据格式:确保文档格式和元数据一致,否则可能导致检索失败。
总结和进一步学习资源
DashVector是一个强大的向量服务解决方案,适用于多种场景。想深入了解,请参考以下资源:
参考资料
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
—END—