[使用Google AlloyDB for PostgreSQL存储向量嵌入：启动指南]

最新推荐文章于 2024-11-02 19:32:44 发布

mmlihaio

最新推荐文章于 2024-11-02 19:32:44 发布

阅读量624

点赞数 21

文章标签： postgresql 数据库 python

本文链接：https://blog.csdn.net/mmlihaio/article/details/142677127

版权

引言

在现代应用中，特别是在AI和数据密集型领域，如何高效地存储和处理向量数据变得尤为重要。Google AlloyDB for PostgreSQL 提供了一种高性能且无缝集成的方式来存储和管理向量嵌入。本文将深入探讨如何使用AlloyDB来存储向量嵌入，并通过Langchain库的集成来增强AI体验。

主要内容

AlloyDB简介

AlloyDB 是一种完全托管的关系数据库服务，100% 兼容 PostgreSQL，提供出色的性能、集成和可扩展性。通过Langchain的集成，开发者可以轻松地构建AI驱动的应用。

设置环境

在开始之前，你需要完成以下步骤：

创建Google Cloud项目并启用AlloyDB API。
创建AlloyDB集群和实例。
创建数据库并添加用户。

安装库

为了使用AlloyDB与Langchain集成，可以安装以下库：

%pip install --upgrade --quiet langchain-google-alloydb-pg langchain-google-vertexai

认证和配置

在Google Colab中，使用以下代码块进行认证：

from google.colab import auth
auth.authenticate_user()

设置你的Google Cloud项目：

PROJECT_ID = "my-project-id"  # @param {type:"string"}
!gcloud config set project {PROJECT_ID}

基本用法

设定AlloyDB数据库配置：

REGION = "us-central1"
CLUSTER = "my-cluster"
INSTANCE = "my-primary"
DATABASE = "my-database"
TABLE_NAME = "vector_store"

AlloyDB连接池

使用AlloyDBEngine类建立连接池：

from langchain_google_alloydb_pg import AlloyDBEngine

engine = await AlloyDBEngine.afrom_instance(
    project_id=PROJECT_ID,
    region=REGION,
    cluster=CLUSTER,
    instance=INSTANCE,
    database=DATABASE,
)

初始化表

AlloyDBVectorStore类需要一个数据库表，可以通过以下方法创建：

await engine.ainit_vectorstore_table(
    table_name=TABLE_NAME,
    vector_size=768,  
)

嵌入类实例化

启用Vertex AI API并实例化嵌入类：

!gcloud services enable aiplatform.googleapis.com

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

代码示例

使用AlloyDB存储和管理向量嵌入的完整流程：

from langchain_google_alloydb_pg import AlloyDBVectorStore
import uuid

store = await AlloyDBVectorStore.create(
    engine=engine,
    table_name=TABLE_NAME,
    embedding_service=embedding,
)

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

await store.aadd_texts(all_texts, metadatas=metadatas, ids=ids)

# 查询示例
query = "I'd like a fruit."
docs = await store.asimilarity_search(query)
print(docs)