探索DashVector：高效处理高维向量的数据库服务

最新推荐文章于 2024-11-09 21:51:58 发布

nseejrukjhad

最新推荐文章于 2024-11-09 21:51:58 发布

阅读量277

点赞数 8

文章标签：数据库 python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142744492

版权

## 引言

随着大数据和人工智能技术的飞速发展，高维向量数据的存储和搜索需求日益增加。DashVector作为一款全托管的向量数据库服务，支持高维稠密和稀疏向量的实时插入和过滤搜索，能够自动扩展并适应不同的应用需求。在本文中，我们将深入探讨DashVector的功能，并提供实用的代码示例。

## 主要内容

### 1. 安装DashVector

要使用DashVector，首先需要安装相应的Python库。您可以通过以下命令安装DashVector及其相关库：

```bash
%pip install --upgrade --quiet langchain-community dashvector dashscope

2. 设置API密钥

使用DashVector需要API密钥。您可以通过以下代码设置DashVector和DashScope的API密钥：

import getpass
import os

os.environ["DASHVECTOR_API_KEY"] = getpass.getpass("DashVector API Key:")
os.environ["DASHSCOPE_API_KEY"] = getpass.getpass("DashScope API Key:")

3. 数据加载与处理

DashVector支持通过不同的数据加载器加载文档，接着可以使用CharacterTextSplitter将文档分割成更小的部分：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

4. 创建和使用DashVector

使用分割后的文档和向量嵌入来创建DashVector实例：

from langchain_community.embeddings.dashscope import DashScopeEmbeddings
from langchain_community.vectorstores import DashVector

embeddings = DashScopeEmbeddings()
dashvector = DashVector.from_documents(docs, embeddings)

您可以执行相似性搜索和带条件的过滤搜索：

query = "What did the president say about Ketanji Brown Jackson"
docs = dashvector.similarity_search(query)
print(docs)

texts = ["foo", "bar", "baz"]
metadatas = [{"key": i} for i in range(len(texts))]
ids = ["0", "1", "2"]

dashvector.add_texts(texts, metadatas=metadatas, ids=ids)
docs = dashvector.similarity_search("foo", filter="key = 2")
print(docs)

代码示例

以下是一个完整的示例代码块：

# 使用API代理服务提高访问稳定性
from langchain_community.embeddings.dashscope import DashScopeEmbeddings
from langchain_community.vectorstores import DashVector
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.document_loaders import TextLoader

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = DashScopeEmbeddings()
dashvector = DashVector.from_documents(docs, embeddings)

query = "What did the president say about Ketanji Brown Jackson"
docs = dashvector.similarity_search(query)
print(docs)