pgvector相似度阈值批量查询并返回top K个结果

已于 2024-05-19 14:48:33 修改
阅读量752 收藏 13
点赞数 7
文章标签： 数据库
于 2024-05-19 14:44:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010295555/article/details/139042711
版权

前提条件

  1. 确保已安装pgvector扩展。
  2. 确保已在PostgreSQL数据库中创建了带有向量字段的表。

示例

假设有一个包含向量的表items，表结构如下：

CREATE TABLE items (
    id serial PRIMARY KEY,
    vector vector(3)
);

插入样本数据

INSERT INTO items (vector) VALUES
    ('[0.1, 0.2, 0.3]'),
    ('[0.4, 0.5, 0.6]'),
    ('[0.7, 0.8, 0.9]'),
    ('[0.2, 0.1, 0.0]'),
    ('[0.5, 0.4, 0.3]');

查询相似度

假设你有一个查询向量[0.1, 0.2, 0.3]，你想从这些样本中找到与其相似的前3个向量，并且设定相似度阈值为0.8。

SELECT id, vector, vector <=> '[0.1, 0.2, 0.3]' AS distance
FROM items
WHERE vector <=> '[0.1, 0.2, 0.3]' < 0.8
ORDER BY vector <=> '[0.1, 0.2, 0.3]'
LIMIT 3;

解释

  1. vector <=> '[0.1, 0.2, 0.3]'计算向量之间的距离。
  2. WHERE vector <=> '[0.1, 0.2, 0.3]' < 0.8过滤出距离小于0.8的向量。
  3. ORDER BY vector <=> '[0.1, 0.2, 0.3]'根据距离从小到大排序。
  4. LIMIT 3限制返回的结果数量为3。

使用Python进行批量查询

如果要用Python进行批量查询，可以使用psycopg2库来执行上述SQL查询：

import psycopg2

def batch_query_similar_vectors(query_vector, threshold, top_k):
    conn = psycopg2.connect(
        dbname="your_database",
        user="your_user",
        password="your_password",
        host="your_host",
        port="your_port"
    )
    cur = conn.cursor()

    query = """
    SELECT id, vector, vector <=> %s AS distance
    FROM items
    WHERE vector <=> %s < %s
    ORDER BY vector <=> %s
    LIMIT %s;
    """

    cur.execute(query, (query_vector, query_vector, threshold, query_vector, top_k))
    results = cur.fetchall()

    cur.close()
    conn.close()

    return results

query_vector = '[0.1, 0.2, 0.3]'
threshold = 0.8
top_k = 3

results = batch_query_similar_vectors(query_vector, threshold, top_k)
for result in results:
    print(result)

这样，你就可以根据相似度阈值批量查询并返回前K个结果。
在pgvector中，向量索引是一种用于加速向量相似度搜索的技术。pgvector支持使用几种不同类型的索引来优化向量查询速度，其中最常见的是IVFFlat索引。以下是关于向量索引的详细介绍：

IVFFlat 索引

IVFFlat (Inverted File with Flat quantization) 是一种常用于向量检索的索引类型，它将向量分成若干簇，并在每个簇内进行快速线性扫描。以下是创建和使用IVFFlat索引的步骤：

创建IVFFlat索引

  1. 创建表格并插入数据:
    首先，创建一个包含向量数据的表格，并插入数据。

    CREATE TABLE items (
    id serial PRIMARY KEY,
    vector vector(3)
);

INSERT INTO items (vector) VALUES
    ('[0.1, 0.2, 0.3]'),
    ('[0.4, 0.5, 0.6]'),
    ('[0.7, 0.8, 0.9]'),
    ('[0.2, 0.1, 0.0]'),
    ('[0.5, 0.4, 0.3]');

  2. 创建IVFFlat索引:
    使用以下SQL命令创建IVFFlat索引。这里的vector_l2_ops表示使用L2距离度量。

    CREATE INDEX ON items USING ivfflat (vector vector_l2_ops) WITH (lists = 100);

    在这个命令中，lists参数指定了簇的数量，通常根据数据量和查询性能进行调整。

使用索引进行查询

创建索引后，可以使用向量相似度搜索进行查询。例如，要查找与查询向量[0.1, 0.2, 0.3]相似的前3个结果，可以使用以下查询：

SELECT id, vector, vector <=> '[0.1, 0.2, 0.3]' AS distance
FROM items
ORDER BY vector <=> '[0.1, 0.2, 0.3]'
LIMIT 3;

在有索引的情况下，这个查询会比没有索引的情况快很多，尤其是在数据量较大的情况下。

HNSW 索引

另一种常用的向量索引是HNSW (Hierarchical Navigable Small World)。HNSW索引基于小世界图理论，具有高效的查询性能和构建速度。

创建HNSW索引
CREATE INDEX ON items USING hnsw (vector) WITH (m = 16, ef_construction = 200);

在这个命令中，m和ef_construction是HNSW算法的参数，分别控制图的稀疏程度和索引构建时的搜索深度。

使用向量索引的好处

  1. 查询速度快: 向量索引显著提高了大规模向量数据的查询速度。
  2. 可扩展性: 支持大规模数据的高效检索。
  3. 灵活性: 支持不同类型的距离度量（如L2距离、内积等）。

索引参数调整

不同的索引类型和参数设置会对性能产生不同影响。根据数据规模和查询需求，可以调整参数（如IVFFlat中的lists或HNSW中的m和ef_construction）以优化性能。

示例：IVFFlat索引与批量查询

假设你有一个包含5000个向量的查询列表，可以使用创建的IVFFlat索引加速查询：

from concurrent.futures import ThreadPoolExecutor
import psycopg2

def query_similar_vectors_batch(query_vector_batch, threshold, top_k):
    conn = psycopg2.connect(
        dbname="your_database",
        user="your_user",
        password="your_password",
        host="your_host",
        port="your_port"
    )
    cur = conn.cursor()
    
    results = []
    for query_vector in query_vector_batch:
        query = """
        SELECT id, vector, vector <=> %s AS distance
        FROM items
        WHERE vector <=> %s < %s
        ORDER BY vector <=> %s
        LIMIT %s;
        """
        cur.execute(query, (query_vector, query_vector, threshold, query_vector, top_k))
        results.extend(cur.fetchall())

    cur.close()
    conn.close()
    
    return results

def batch_query_similar_vectors(query_vectors, threshold, top_k, batch_size):
    with ThreadPoolExecutor(max_workers=10) as executor:
        futures = [
            executor.submit(query_similar_vectors_batch, query_vectors[i:i + batch_size], threshold, top_k)
            for i in range(0, len(query_vectors), batch_size)
        ]
        results = []
        for future in futures:
            results.extend(future.result())
    return results

query_vectors = [...]  # 5000个长文本向量列表
threshold = 0.8
top_k = 3
batch_size = 500  # 每批次处理500个向量

results = batch_query_similar_vectors(query_vectors, threshold, top_k, batch_size)
for result in results:
    print(result)

通过创建和使用向量索引，可以显著提高pgvector在大规模数据集上的查询性能。

如果优先考虑文本召回率，即希望在相似度查询中尽可能多地召回相关的文本，那么使用HNSW（Hierarchical Navigable Small World）索引通常是一个较好的选择。HNSW索引在保持高查询速度的同时，能够提供较高的召回率。

HNSW索引

HNSW索引基于小世界图理论，通过构建多层图结构，使得在大规模数据集中能够高效地进行近似最近邻搜索。HNSW索引的关键参数有两个：

  1. M: 控制每个节点的最大连接数。较高的值通常会提高召回率，但也会增加索引构建和查询时间。
  2. ef_construction: 控制索引构建时的搜索深度。较高的值通常会提高召回率和构建时间。

创建HNSW索引

以下是创建HNSW索引的示例：

CREATE INDEX ON items USING hnsw (vector) WITH (m = 16, ef_construction = 200);

调整参数以优化召回率

为了优化召回率，可以适当增加M和ef_construction的值。例如：

CREATE INDEX ON items USING hnsw (vector) WITH (m = 32, ef_construction = 500);

查询示例

创建HNSW索引后，可以使用向量相似度搜索进行查询。例如，要查找与查询向量[0.1, 0.2, 0.3]相似的前3个结果，可以使用以下查询：

SELECT id, vector, vector <=> '[0.1, 0.2, 0.3]' AS distance
FROM items
ORDER BY vector <=> '[0.1, 0.2, 0.3]'
LIMIT 3;

使用Python进行批量查询

同样可以使用Python进行批量查询，并行处理以提高效率：

from concurrent.futures import ThreadPoolExecutor
import psycopg2

def query_similar_vectors_batch(query_vector_batch, threshold, top_k):
    conn = psycopg2.connect(
        dbname="your_database",
        user="your_user",
        password="your_password",
        host="your_host",
        port="your_port"
    )
    cur = conn.cursor()
    
    results = []
    for query_vector in query_vector_batch:
        query = """
        SELECT id, vector, vector <=> %s AS distance
        FROM items
        WHERE vector <=> %s < %s
        ORDER BY vector <=> %s
        LIMIT %s;
        """
        cur.execute(query, (query_vector, query_vector, threshold, query_vector, top_k))
        results.extend(cur.fetchall())

    cur.close()
    conn.close()
    
    return results

def batch_query_similar_vectors(query_vectors, threshold, top_k, batch_size):
    with ThreadPoolExecutor(max_workers=10) as executor:
        futures = [
            executor.submit(query_similar_vectors_batch, query_vectors[i:i + batch_size], threshold, top_k)
            for i in range(0, len(query_vectors), batch_size)
        ]
        results = []
        for future in futures:
            results.extend(future.result())
    return results

query_vectors = [...]  # 5000个长文本向量列表
threshold = 0.8
top_k = 3
batch_size = 500  # 每批次处理500个向量

results = batch_query_similar_vectors(query_vectors, threshold, top_k, batch_size)
for result in results:
    print(result)

通过使用HNSW索引并调整其参数，可以在保证查询效率的同时提高召回率，从而更好地满足你的需求。

Coding Is Fun
关注
  • 7
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
5.5.5、【AI技术新纪元：Spring AI解码】使用PGvector设置向量存储及进行相似性搜索
宋志辉的博客
03-23 250
本节指导您如何设置PGvector VectorStore来存储文档嵌入并执行相似性搜索。PGvector是一个开源的PostgreSQL扩展，能够支持存储和搜索机器学习生成的嵌入向量，提供查找精确和近似最近邻的功能。它设计得与PostgreSQL的其他特性无缝配合，包括索引和查询。
pgvector:Postgres 的开源向量相似度搜索
08-05
向量 Postgres 的开源向量相似度搜索 CREATE TABLE table (column vector( 3 )); CREATE INDEX ON table USING ivfflat (column); SELECT * FROM table ORDER BY column < - > ' [1,2,3] ' LIMIT 5 ; 支持 L2 距离、内积和余弦距离 安装 编译安装扩展（支持 Postgres 9.6+） git clone --branch v0.1.7 https://github.com/ankane/pgvector.git cd pgvector make make install # may need sudo 然后将其加载到要使用它的数据库中 CREATE EXTENSION vector; 您还可以使用 、 或安装它 入门 创建一个 3
最大相似度阈值
03-19
最大相似度阈值
基于语义相似度的数据库自适应查询松弛方法
03-05
为了解决数据库空查询结果问题,提出了一种基于语义相似度的数据库自适应查询松弛方法.首先,基于初始查询条件和数据分布推测用户对查询指定属性的重视程度,据此提出了一种属性权重评估方法;然后,通过考察属性值的特征...
计算两个字符串相似度，返回0-1的相似值
08-18
计算两个字符串相似度，返回0-1的相似值 0为完全不同，1位完全相同 例如：上海如家酒店中环店，以下是与其比较的相似度 上海如家酒店中环店 1.000000 上海中环店如家酒店 0.888889 上海中环如家酒店 0.823529 如家...
【redis的基本数据类型】
m0_50116974的博客
06-13 485
压缩列表的基本信息包括压缩列表的大小，压缩列表的长度以及最后一个entry的偏移，之所以要有这个偏移，是为了找到最后一个entry,而每个entry都记录上一个元素的大小，通过计算就知道上一个entry的地址，这样方便的从后向前进行遍历。的结构，其分为两部分，8字节的Redis对象元数据信息，8字节的指针，其中Redis对象的元数据信息存储了类型的LRU信息，真正的编码格式等等，而如果字符串存储的是数字类型，则复用了8字节的指针的位置。的操作，但是当列表的元素非常少的时候，其内部使用。
canal应用
qq_33816292的博客
06-12 126
canal分享模块链接。
Spring Boot 事务传播机制详解
zhangkai__的博客
06-08 1001
详细解释springboot中的事务传播机制
Django UpdateView视图
人生苦短，何妨一试
06-11 305
UpdateView是Django中的一个通用视图，用于处理对象的更新操作。它允许用户更新一个已经存在的对象。UpdateView通常与一个模型表单一起使用，这样用户就可以看到当前对象的值，并可以修改它们。
SpringBoot+MyBatis批量插入数据的三种方式
pscool的博客
06-12 819
在开发过程中，我们经常会遇到往数据库表中插入大量数据的场景，比如excel批量导入数据。那么该如何快速地插入数据呢？我们可以考虑使用批量插入来实现，实测100000条数据添加，后附具体实现代码。用一个 for 循环，把数据一条一条地插入。/*** 第一种方案，用 for语句循环插入 10万 条数据*/i < count;i++) {user.setName("方案1测试" + i);user.setGender("男");user.setUsername("方案1测试");
liquibase做数据库版本管理
weixin_44554979的博客
06-10 202
通过这个配置就会自动启动liquibase。
java：使用JSqlParser给sql语句增加tenant_id和deleted条件
陈鸿圳的专栏
06-11 417
【pom.xml】
【雷丰阳-谷粒商城 】【分布式基础篇-全栈开发篇】【08】【商品服务】Object划分_批量删除
Keep Reading Keep Writing Keep Thinking
06-11 434
【雷丰阳-谷粒商城 】【分布式基础篇-全栈开发篇】【08】【商品服务】Object划分_批量删除
简单了解MySql以及一些简单的应用MySql
最新发布
weixin_63323754的博客
06-14 1064
初始MySql，能够简单地使用MySql
springboot连接多个库
sunyingboaini的博客
06-11 175
一个SpringBoot项目，同时连接两个数据库：比如一个是Mysql数据库，一个是oracle数据库（啥数据库都一样，连接两个同为oracle的数据库，或两个不同的数据库，只需要更改对应的driver-class-name和jdbc-url等即可）注意：连接什么数据库，要引入对应数据库的包。
RAG：如何从0到1搭建一个RAG应用
Miao的博客
06-10 830
检索增强生成）是一种强大的工具，整合了从庞大知识库中检索到的相关信息，并以此为基础，指导大型语言模型生成更为精准的答案，从而显著提升了回答的准确性与深度。2020 年，Meta AI 研究人员提出了RAG的方法，用于提高 LLM 在特定任务上的性能。信息滞后：LLM 的知识是静态的，来源于当时训练时的数据，也就是 LLM 无法直接提供最新的信息。模型幻觉：实践表明，当前的生成式 AI 技术存在一定的幻觉，而在一些常见的业务应用中，我们是希望保证事实性的。私有数据匮乏。
mysql和redis备份和恢复数据的笔记
qq_42750608的博客
06-11 998
mysql和redis备份和恢复数据的笔记
浅解Reids持久化
weixin_64260010的博客
06-10 347
rdb文件都是二进制，很小，里面存的是数据。
数据库课设-中小企业工资管理系统
Fightever_的博客
06-13 226
【代码】数据库课设-中小企业工资管理系统。
使用K-means算法批量处理图像文件并保存结果
05-12
K-means是一种聚类算法，它可以将数据分为不同的簇，每个簇内的数据点相似度较高，不同簇之间的数据点相似度较低。在图像处理中，可以使用K-means算法将图像像素点聚类，从而实现图像分割、色彩量化等目的。 以下是使用K-means算法批量处理图像文件并保存结果的步骤： 1. 导入需要处理的图像文件，并将其转化为numpy数组。 ```python import cv2 import numpy as np # 导入图像文件 img = cv2.imread('image.jpg') # 将图像转化为numpy数组 img_array = np.array(img) ``` 2. 将图像数组进行reshape，转化为二维数组。 ```python # 将图像数组reshape为二维数组 img_data = img_array.reshape((-1, 3)) ``` 3. 使用K-means算法对图像像素点进行聚类。 ```python from sklearn.cluster import KMeans # 设定聚类数目 kmeans = KMeans(n_clusters=8, random_state=0) # 对图像像素点进行聚类 kmeans.fit(img_data) # 获取聚类结果 labels = kmeans.labels_ ``` 4. 将聚类结果重新转化为图像数组形式，并保存处理后的图像文件。 ```python # 将聚类结果重新reshape为图像形式 result = labels.reshape(img_array.shape[:2]) # 将处理后的图像保存为文件 cv2.imwrite('result.jpg', result) ``` 可以将以上代码封装为一个函数，以便批量处理图像文件。 ```python import os def kmeans_batch_process(input_folder, output_folder, n_clusters): # 遍历输入文件夹下所有图像文件 for filename in os.listdir(input_folder): if filename.endswith('.jpg'): # 导入图像文件 img = cv2.imread(os.path.join(input_folder, filename)) # 将图像转化为numpy数组 img_array = np.array(img) # 将图像数组reshape为二维数组 img_data = img_array.reshape((-1, 3)) # 对图像像素点进行聚类 kmeans = KMeans(n_clusters=n_clusters, random_state=0) kmeans.fit(img_data) # 获取聚类结果 labels = kmeans.labels_ # 将聚类结果重新reshape为图像形式 result = labels.reshape(img_array.shape[:2]) # 将处理后的图像保存为文件 cv2.imwrite(os.path.join(output_folder, filename), result) ``` 使用以上函数，可以对指定文件夹下所有图像文件进行K-means聚类处理，并将处理结果保存到指定文件夹中。 ```python # 批量处理图像文件 kmeans_batch_process('input_folder', 'output_folder', 8) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值