高维向量相似搜索插件 pgvector

最新推荐文章于 2024-06-17 22:23:49 发布
最新推荐文章于 2024-06-17 22:23:49 发布
阅读量2.3k 收藏 4
点赞数 2
文章标签： postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/biraotian/article/details/129951360
版权

大模型爆火以后，持仓股票都卖飞了（捶自己），只能研究研究技术，来填补下心灵上的创伤。

正在用openai开放的接口做调试，用embedding接口来实现内容相似度检索，并用chatGPT生成答案，从目前来看实现的效果还不错。

embedding接口会返回一组vector，相对于其他数据的向量搜索，它生成的向量精确度更高，起初用的是supebase云数据库，后来替换成了postgres（支持私有化部署PostgreSQL: The world's most advanced open source database），向量存储都用到了pgvector（GitHub - pgvector/pgvector: Open-source vector similarity search for Postgres）

讲下pgvector，PostgreSQL 内置的cube插件支持最高100维向量, 每个维度8字节, 性能一般。阿里云rds pg提供了一个高维向量插件pase用于解决高精度向量高效搜索, 例如人脸识别。同时pase有对外公开发表的论文, 基于这个论文, 国外的开源爱好者开发了一个名为pgvector的插件, 支持ivfflat索引算法。

vector支持三种向量距离

最低0.47元/天 解锁文章
祖传做年糕
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
pgvector:Postgres 的开源向量相似度搜索
08-05
向量 Postgres 的开源向量相似度搜索 CREATE TABLE table (column vector( 3 )); CREATE INDEX ON table USING ivfflat (column); SELECT * FROM table ORDER BY column < - > ' [1,2,3] ' LIMIT 5 ; 支持 L2 距离、内积和余弦距离 安装 编译安装扩展（支持 Postgres 9.6+） git clone --branch v0.1.7 https://github.com/ankane/pgvector.git cd pgvector make make install # may need sudo 然后将其加载到要使用它的数据库中 CREATE EXTENSION vector; 您还可以使用 、 或安装它 入门 创建一个 3
基于DHT的高维数据相似性检索方法研究
02-24
以在P2P网络下实现对海量、高维数据的高效相似性检索为目标，提出PLCID索引方法(modified iDistance based on Proximity Location Code)，该方法有效地缩小了需要搜索的范围，减少了数据对象间的距离计算次数，...
向量数据库PGVECTOR，AI浪潮下崛起的新秀！
IT邦德
02-29 3378
pgvector与PostgreSQL 强强联合，成为AI浪潮下的崛起新星
向量数据库：PGVector
m0_37559973的博客
05-09 2498
PGVector 是一个基于 PostgreSQL 的扩展插件，为用户提供了一套强大的向量存储和查询的功能
windows安装pgvector
m0_46515469的博客
06-17 407
提示缺少头文件，最后发现PGROOT= 后面居然多了一个空格，这问题硬控我一小时。用管理员权限执行bat脚本。
PostgreSQL【应用 01】使用Vector插件实现向量相似度查询（Docker部署的PostgreSQL安装pgvector插件说明）和Milvus向量库对比
Java与大数据相关实践内容分享！
06-30 5751
使用Vector插件实现向量相似度查询（Docker部署的PostgreSQL安装pgvector插件说明）和Milvus向量库对比
PostgreSQL向量数据插件--pgvector安装（附PostgreSQL安装）
m0_62627802的博客
12-16 8687
本文为本人在安装pgvector中踩过的坑，已找到解决方法，现向大家分享。
10个最流行的向量数据库【AI】
新缸中之脑
04-29 2万+
矢量数据库是一种将数据存储为高维向量的数据库，高维向量是特征或属性的数学表示。每个向量都有一定数量的维度，范围从几十到几千不等，具体取决于数据的复杂性和粒度。推荐：用快速搭建3D场景。矢量数据库（Vector Database）和矢量开发库（Vector Library）都是实现矢量相似性搜索的技术，但它们在功能和可用性上有所不同。矢量数据库可以存储和更新数据，处理各种类型的数据源，在数据导入期间执行查询，并提供用户友好和企业就绪的功能。
10分钟了解向量数据库
热门推荐
zxm2015的博客
05-29 4万+
向量数据库（Vector Database），也叫矢量数据库，主要用来存储和处理向量数据。在数学中，向量是有大小和方向的量，可以使用带箭头的线段表示，箭头指向即为向量的方向，线段的长度表示向量的大小。两个向量的距离或者相似性可以通过汉明距离、欧式距离或者余弦距离得到。图像、文本和音视频这种非结构化数据都可以通过某种变换或者嵌入学习转化为向量数据存储到向量数据库中，从而实现对图像、文本和音视频的相似性搜索和检索。
PostgreSQL高维向量检索索引插件介绍.pptx
10-14
PostgreSQL高维向量检索索引插件介绍 PostgreSQL高维向量检索索引插件是为了解决高维向量检索问题的一种解决方案。高维向量检索是指在高维空间中搜索最近邻居的过程。本文将介绍PostgreSQL高维向量检索索引插件的...
4-高维向量检索技术在PG中的设计与实践.pdf
01-26
"高维向量检索技术在PG中的设计与实践" 高维向量检索技术是指从一堆已知的点中，找出给定P点的最相邻的K个点的过程，这些点可以是1维点、2维的点、3维的点... ...这些点我们统一叫做向量。高维向量检索技术广泛应用...
Mybatis调用PostgreSQL存储过程实现数组入参传递
09-09
主要介绍了mybatis调用postgresql自定义函数传递数组参数的解决方案,具有一定的参考价值，感兴趣的小伙伴们可以参考一下
向量检索caiss算法编译好的dll以及lib
05-19
向量搜索，也称为嵌入空间搜索，是通过比较高维向量之间的相似性来查找数据的技术。在机器学习和深度学习应用中，每个数据项经常被表示为一个高维向量，这些向量可以捕获数据的复杂特征。向量检索算法，如CAISS，...
小技巧机器学习中可视化高维向量的两种方法PCA和t-SNE,以及其原理介绍和代码示例(附代码)
04-12
使用 t-SNE 方法可视化我自己的数据的 reid_features 示例
pgvector 源码分析
qq_37517281的博客
07-25 1125
pgvector 库是一种用于计算向量距离的库，它的核心是提供了聚类索引，棸类索引使用的算法是 kmeans++（相对于 kmeans 最主要的区别是初始化起点的位置）。
PostgreSQL安装扩展vector
qq_57963867的博客
07-14 5365
这小小的一个扩展我弄了好久，中间出现了问题，pgadmin4打不开了，式了好多办法，比如修改文件啊，然后改注册表啊，都不可以，重新又下了一个pgadmin4降了一个版本才好了。下载vector可以使用很多方法，可以直接在命令行中克隆git上面的源代码（我不是用这个方法的就，就不介绍怎么使用的了）打开c++的终端在终端中打开解压后的pg_vector的地址运行下面两句代码就可以了。再打开pgadmin4输入下面这段代码运行后运行，执行成功后就可以了。上下载的源码，下载好解压到本地就可以了。
（五）Langchain PGVector 补充智能客服匹配式问答
西风瘦马
06-05 3695
本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。先让用户的问题，匹配问答中的问题（多问一答），相同的问题意图需要泛化，如果问题相识度满足一定的阈值，则返回问题对应的答案，如果不满足相关度阈值，则把问题提交给文档问答库（适合有一定的业务文档积累场景）作为兜底，同样的也需要满足一定的相关度top k。
矢量数据库简单介绍：在 Postgres使用 pg_vector
xuejianxinokok的专栏
03-08 2271
向量是表示文本或图像等非结构化数据的数字数组。例如，让我们将这些句子表示为向量：我们可以采用所有单词并创建具有四个维度（每个术语一个）的所谓“词袋”（BoW）模型：BoW 的问题在于，它们依赖于词频，并且假设每个单词独立于其他单词出现，这是不切实际的假设。这是一个显着的简化，因为在自然语言中，上下文和含义通常在很大程度上取决于词序和词之间的关系。例如，“not good”和“good”在 BoW 模型中被视为相同的两个单词，即使由于“not”的存在而导致它们的含义相反。
PG 向量化引擎--2
帅的数说
01-29 596
PG 向量化引擎--2向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里继续进行整理，以作分析。关于设计中的几个问题1、在vtype中...
高维向量kmeans聚类算法python实现
最新发布
06-27
高维向量K-Means聚类算法是一种常用的数据挖掘技术，用于将一组数据集分组成多个簇，每个簇中的数据点相似度较高。在Python中，我们可以使用scikit-learn库来实现这个过程。以下是一个简单的步骤和代码示例： 1. 导入必要的库： ```python from sklearn.cluster import KMeans import numpy as np ``` 2. 准备数据（这里假设我们有一个二维numpy数组，代表高维向量）： ```python # 创建一些高维随机数据 X = np.random.rand(100, 10) # 100个样本，每个样本有10维特征 ``` 3. 设置K-Means参数，包括簇的数量（k）： ```python k = 3 # 假设我们要分成3个簇 ``` 4. 实例化并训练KMeans模型： ```python kmeans = KMeans(n_clusters=k) kmeans.fit(X) ``` 5. 获取聚类结果： ```python labels = kmeans.labels_ # labels数组，每个元素是样本属于的簇的索引 centroids = kmeans.cluster_centers_ # 簇的质心 ``` 6. 可视化（如果数据维度较低，可以使用matplotlib等库可视化）： ```python if k <= 2: import matplotlib.pyplot as plt plt.scatter(X[:, 0], X[:, 1], c=labels) plt.scatter(centroids[:, 0], centroids[:, 1], s=300, c='red') plt.show() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值