使用 Supabase 和 Postgres 构建智能向量数据库：从入门到精通

最新推荐文章于 2024-11-09 21:51:58 发布

nseejrukjhad

最新推荐文章于 2024-11-09 21:51:58 发布

阅读量477

点赞数 5

文章标签：数据库 python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142430752

版权

引言

在构建现代 AI 应用程序时，选择合适的数据存储解决方案至关重要。Supabase 作为一个开源的 Firebase 替代方案，结合 Postgres 的强大功能，为开发者提供了一个理想的平台。本文将探讨如何利用 Supabase、Postgres 和 pgvector 扩展来存储和查询向量嵌入，搭建一个自我查询的检索系统。

主要内容

1. 创建 Supabase 数据库并启用 pgvector

首先，访问 https://database.new 来创建你的 Supabase 数据库。在 SQL 编辑器中运行以下脚本，启用 pgvector 并设置数据库为向量存储：

-- Enable the pgvector extension to work with embedding vectors
create extension if not exists vector;

-- Create a table to store your documents
create table documents (
  id uuid primary key,
  content text, -- corresponds to Document.pageContent
  metadata jsonb, -- corresponds to Document.metadata
  embedding vector (1536) -- 1536 works for OpenAI embeddings, change if needed
);

-- Create a function to search for documents
create function match_documents (
  query_embedding vector (1536),
  filter jsonb default '{}'
) returns table (
  id uuid,
  content text,
  metadata jsonb,
  similarity float
) language plpgsql as $$
#variable_conflict use_column
begin
  return query
  select
    id,
    content,
    metadata,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where metadata @> filter
  order by documents.embedding <=> query_embedding;
end;
$$;

2. 使用 Supabase 进行向量存储

将一些示例文档加载到你的向量存储中。首先，确保安装了必要的 Python 包：

%pip install --upgrade --quiet langchain langchain-openai tiktoken lark supabase

然后，导入必要的模块并设置 API 密钥：

import os
from langchain_community.vectorstores import SupabaseVectorStore
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from supabase.client import Client, create_client

supabase_url = os.environ.get("SUPABASE_URL")
supabase_key = os.environ.get("SUPABASE_SERVICE_KEY")
supabase: Client = create_client(supabase_url, supabase_key) # 使用API代理服务提高访问稳定性

embeddings = OpenAIEmbeddings()

3. 搭建自我查询的检索系统

定义文档的元数据信息，并初始化检索器：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="director", description="The name of the movie director", type="string"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是使用检索器的示例代码：

# 查询恐龙相关的电影
retriever.invoke("What are some movies about dinosaurs")

# 查询评分高于 8.5 的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 查询由 Greta Gerwig 执导的关于女性的电影
retriever.invoke("Has Greta Gerwig directed any movies about women?")

# 查询高评分的科幻电影
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")