如何使用Google Cloud SQL for MySQL进行向量嵌入存储

dfvcbipanjr

于 2024-10-02 03:10:02 发布

阅读量303

点赞数 3

文章标签： sql mysql 数据库 python

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142677163

版权

引言

在当今快速发展的技术世界中，人工智能和大数据的结合创造了新的可能性。Google Cloud SQL是一个全托管的关系数据库服务，支持PostgreSQL、MySQL和SQL Server数据库引擎。本文将详细介绍如何使用Cloud SQL for MySQL存储向量嵌入，借助LangChain集成构建AI驱动的应用程序。

主要内容

环境准备

在开始之前，请按照以下步骤准备环境：

创建Google Cloud项目。
启用Cloud SQL Admin API。
创建Cloud SQL实例（版本必须>=8.0.36，且配置cloudsql_vectordatabase标志为"On"）。
创建Cloud SQL数据库并添加用户。

安装库

安装集成库langchain-google-cloud-sql-mysql和嵌入服务库langchain-google-vertexai。

%pip install --upgrade --quiet langchain-google-cloud-sql-mysql langchain-google-vertexai

注意: 使用API代理服务提高访问稳定性。

认证和配置

使用以下代码进行身份验证并设置Google Cloud项目：

from google.colab import auth
auth.authenticate_user()

PROJECT_ID = "my-project-id"  # 请填入你的项目ID
!gcloud config set project {PROJECT_ID}

MySQL引擎连接池

创建一个MySQLEngine对象以配置连接池：

from langchain_google_cloud_sql_mysql import MySQLEngine

engine = MySQLEngine.from_instance(
    project_id=PROJECT_ID, 
    region="us-central1", 
    instance="my-mysql-instance", 
    database="my-database"
)

初始化向量存储表

创建表以存储向量：

engine.init_vectorstore_table(
    table_name="vector_store",
    vector_size=768  # 向量大小，适合VertexAI模型
)

代码示例

下面是一个完整的示例代码：

from langchain_google_vertexai import VertexAIEmbeddings
from langchain_google_cloud_sql_mysql import MySQLVectorStore
import uuid

# 创建嵌入类实例
embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", 
    project=PROJECT_ID
)

# 初始化MySQLVectorStore
store = MySQLVectorStore(
    engine=engine,
    embedding_service=embedding,
    table_name="vector_store"
)

# 添加文本
all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

store.add_texts(all_texts, metadatas=metadatas, ids=ids)

# 删除文本
store.delete([ids[1]])

# 文本相似度搜索
query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs[0].page_content)