探索TiDB Cloud：用TiDBLoader加载数据以支持AI应用

最新推荐文章于 2024-10-01 19:47:46 发布

afTFODguAKBF

最新推荐文章于 2024-10-01 19:47:46 发布

阅读量328

点赞数 5

文章标签： tidb 人工智能 oracle python

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142408523

版权

# 探索TiDB Cloud：用TiDBLoader加载数据以支持AI应用

## 引言
TiDB Cloud是一款全面的Database-as-a-Service (DBaaS)解决方案，提供专用和无服务器选项。随着TiDB Serverless在MySQL环境中集成内置向量搜索，您可以无缝开发AI应用，而无需其他数据库或技术栈。本篇文章将介绍如何使用TiDBLoader从TiDB中加载数据，以支持Langchain中的AI应用开发。

## 主要内容

### 1. 前提条件
在使用TiDBLoader之前，首先需要安装一些依赖项：

```bash
%pip install --upgrade --quiet langchain

2. 配置TiDB连接

接下来，我们需要配置与TiDB的连接。以下代码展示了如何使用TiDB Cloud提供的标准连接方法来建立安全、高效的数据库连接。

import getpass

# 从TiDB Cloud控制台复制，并替换为您自己的信息
tidb_connection_string_template = "mysql+pymysql://<USER>:<PASSWORD>@<HOST>:4000/<DB>?ssl_ca=/etc/ssl/cert.pem&ssl_verify_cert=true&ssl_verify_identity=true"
tidb_password = getpass.getpass("Input your TiDB password:")
tidb_connection_string = tidb_connection_string_template.replace(
    "<PASSWORD>", tidb_password
)

3. 从TiDB加载数据

TiDBLoader提供了一些关键参数来定制数据加载行为：

query(str): 要在TiDB数据库中执行的SQL查询。
page_content_columns(Optional[List[str]]): 指定需要包含在每个Document对象的内容中的列名。
metadata_columns(Optional[List[str]]): 指定需要包含在每个Document对象的元数据中的列名。

以下代码示例展示了如何连接数据库、创建表、插入数据并使用TiDBLoader加载数据。

from sqlalchemy import Column, Integer, MetaData, String, Table, create_engine

# 连接至数据库
engine = create_engine(tidb_connection_string)
metadata = MetaData()
table_name = "test_tidb_loader"

# 创建表
test_table = Table(
    table_name,
    metadata,
    Column("id", Integer, primary_key=True),
    Column("name", String(255)),
    Column("description", String(255)),
)
metadata.create_all(engine)

# 插入数据
with engine.connect() as connection:
    transaction = connection.begin()
    try:
        connection.execute(
            test_table.insert(),
            [
                {"name": "Item 1", "description": "Description of Item 1"},
                {"name": "Item 2", "description": "Description of Item 2"},
                {"name": "Item 3", "description": "Description of Item 3"},
            ],
        )
        transaction.commit()
    except:
        transaction.rollback()
        raise

from langchain_community.document_loaders import TiDBLoader

# 设置TiDBLoader以检索数据
loader = TiDBLoader(
    connection_string=tidb_connection_string,
    query=f"SELECT * FROM {table_name};",
    page_content_columns=["name", "description"],
    metadata_columns=["id"],
)

# 加载数据
documents = loader.load()

# 显示加载的文档
for doc in documents:
    print("-" * 30)
    print(f"content: {doc.page_content}\nmetada: {doc.metadata}")

# 删除表
test_table.drop(bind=engine)