探索Google Vertex AI Feature Store：轻松实现低延迟向量搜索

最新推荐文章于 2024-11-01 17:13:19 发布

bhawfgrcbtwny

最新推荐文章于 2024-11-01 17:13:19 发布

阅读量389

点赞数 4

文章标签：人工智能 python 开发语言

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142410074

版权

# 引言

在现代机器学习应用中，低延迟的特征管理和在线服务是提高用户体验的关键。本文将探讨如何使用Google Cloud Vertex AI Feature Store，通过VertexFSVectorStore类实现BigQuery数据的低延迟向量搜索和近似最近邻检索。对于需要快速原型设计和无需复杂基础设施的开发者，本文提供了一种简便的解决方案。

# 主要内容

## 1. 安装和初始设置

首先，我们需要安装必要的库并配置项目环境。

```bash
%pip install --upgrade --quiet langchain langchain-google-vertexai "langchain-google-community[featurestore]"

设置项目ID：

PROJECT_ID = ""  # @param {type:"string"}
! gcloud config set project {PROJECT_ID}

设置区域、数据集和表名：

REGION = "us-central1"  # @param {type: "string"}
DATASET = "my_langchain_dataset"  # @param {type: "string"}
TABLE = "doc_and_vectors"  # @param {type: "string"}

2. 启用Embedding类实例

需要启用Vertex AI API：

gcloud services enable aiplatform.googleapis.com --project {PROJECT_ID}

然后, 初始化Embedding实例：

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest",
    project=PROJECT_ID
)

3. 初始化VertexFSVectorStore

链接BigQuery数据库：

from langchain_google_community import VertexFSVectorStore

store = VertexFSVectorStore(
    project_id=PROJECT_ID,
    dataset_name=DATASET,
    table_name=TABLE,
    location=REGION,
    embedding=embedding,
)

代码示例

以下是添加文本和进行文档搜索的代码示例：

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]

store.add_texts(all_texts, metadatas=metadatas)
store.sync_data()  # 同步数据

query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs)

query_vector = embedding.embed_query(query)
docs_by_vector = store.similarity_search_by_vector(query_vector, k=2)
print(docs_by_vector)