使用 pgvector 将 OpenAI 嵌入存储在 Postgres 中

最新推荐文章于 2024-07-31 16:44:00 发布
最新推荐文章于 2024-07-31 16:44:00 发布
阅读量1.3k 收藏 18
点赞数 21
分类专栏： MemFire 文章标签： serverless 数据库 postgresql ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44957042/article/details/139644418
版权

MemFire Cloud 中现在提供了一个新的 PostgreSQL 扩展：pgvector，一个开源向量相似性搜索。

过去一年，人工智能功能的飞速发展激发了许多新的现实世界应用。一个特定的挑战是能够大规模存储和查询嵌入。在这篇文章中，我们将解释什么是嵌入，为什么我们可能想要使用它们，以及如何使用 PostgreSQL 存储和查询它们pgvector。

🆕 MemFire Cloud 现已发布使用 Postgres 和 pgvector 开发 AI 应用程序的开源工具包。在AI 和 Vectors 文档中了解更多信息。

什么是嵌入？

嵌入可以捕获文本、图像、视频或其他类型信息的“相关性”。这种相关性最常用于：

  • 搜索： 搜索词与正文有多相似？
  • 建议： 两种产品有多相似？
  • 分类： 我们如何对文本主体进行分类？
  • 聚类： 我们如何识别趋势？

让我们探索一个文本嵌入的示例。假设我们有三个短语：

  1. “猫追老鼠”
  2. “小猫捕食啮齿动物”
  3. “我喜欢火腿三明治”

你的任务是将具有相似含义的短语归为一组。如果你是人类，这应该是显而易见的。短语 1 和 2 几乎相同，而短语 3 的含义则完全不同。

虽然短语 1 和 2 相似，但它们没有共同的词汇（除了“the”）。但它们的含义几乎相同。我们如何才能教会计算机它们是相同的？

人类

人类使用词语和符号来交流语言。但孤立的词语大多毫无意义——我们需要从共同的知识和经验中汲取知识才能理解它们。只有当你知道 Google 是一个搜索引擎并且人们一直将其用作动词时，“你应该用 Google 来搜索”这句话才有意义。

同样，我们需要训练一个神经网络模型来理解人类语言。一个有效的模型应该在数百万个不同的例子中进行训练，以理解每个单词、短语、句子或段落在不同语境中的含义。

那么这与嵌入有何关系？

嵌入如何工作？

嵌入将离散信息（单词和符号）压缩为分布式连续值数据（向量）。如果我们把之前的短语拿出来并绘制在图表上，它可能看起来像这样：

向量相似度

短语 1 和 2 将被绘制得彼此靠近，因为它们的含义相似。我们预计短语 3 会位于较远的地方，因为它与短语 3 无关。如果我们有第四个短语“Sally 吃瑞士奶酪”，它可能位于短语 3（奶酪可以放在三明治上）和短语 1（老鼠喜欢瑞士奶酪）之间的某个地方。

在这个例子中，我们只有 2 个维度：X 轴和 Y 轴。实际上，我们需要更多维度才能有效捕捉人类语言的复杂性。

OpenAI

OpenAI 提供了一个API，可以使用其语言模型为文本字符串生成嵌入。您可以向其输入任何文本信息（博客文章、文档、公司的知识库），它将输出一个浮点数向量，表示该文本的“含义”。

与我们上面的二维示例相比，他们的最新嵌入模型text-embedding-ada-002将输出 1536 维。

为什么这很有用？一旦我们在多个文本上生成了嵌入，使用余弦距离等向量数学运算来计算它们的相似度就很简单了。一个完美的用例是搜索。您的流程可能看起来像这样：

  1. 预处理知识库并为每个页面生成嵌入
  2. 存储你的嵌入以供稍后引用（更多信息请见此处）
  3. 构建一个提示用户输入的搜索页面
  4. 获取用户的输入，生成一次性嵌入，然后对预处理的嵌入执行相似性搜索。
  5. 向用户返回最相似的页面

实践中的嵌入

在小规模上，您可以将嵌入存储在 CSV 文件中，将其加载到 Python 中，然后使用类似库numPy来计算它们之间的相似度，例如使用余弦距离或点积。OpenAI 有一个食谱示例可以做到这一点。不幸的是，这可能无法很好地扩展：

  • 如果我需要存储和搜索大量文档和嵌入（超过内存可以容纳的数量）怎么办？
  • 如果我想动态创建/更新/删除嵌入怎么办？
  • 如果我不使用 Python 怎么办？

使用PostgreSQL

输入pgvector，这是 PostgreSQL 的一个扩展，它允许您在数据库中存储和查询向量嵌入。让我们尝试一下。

首先，我们将启用VectorDatabase扩展。在 MemFire Cloud 中，可以通过→从 Web 门户完成此操作Extensions。您也可以通过运行以下命令在 SQL 中执行此操作：

create extension vector;

接下来让我们创建一个表来存储我们的文档及其嵌入：

create table documents (
  id bigserial primary key,
  content text,
  embedding vector(1536)
);

pgvector引入了一个名为 的新数据类型vector。在上面的代码中，我们创建了一个embedding以vector数据类型命名的列。向量的大小定义了向量包含的维度数。OpenAI 的text-embedding-ada-002模型输出 1536 个维度，因此我们将使用它作为向量大小。

我们还创建了一个text名为的列，content用于存储生成此嵌入的原始文档文本。根据您的用例，您可能只在此处存储对文档的引用（URL 或外键）。

我们很快就需要对这些嵌入执行相似性搜索。让我们创建一个函数来执行此操作：

create or replace function match_documents (
  query_embedding vector(1536),
  match_threshold float,
  match_count int
)
returns table (
  id bigint,
  content text,
  similarity float
)
language sql stable
as $$
  select
    documents.id,
    documents.content,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where documents.embedding <=> query_embedding < 1 - match_threshold
  order by documents.embedding <=> query_embedding
  limit match_count;
$$;

pgvector引入了3个可用于计算相似度的新运算符：

操作员描述
<->欧几里德距离
<#>负内积
<=>余弦距离

OpenAI 建议在其嵌入上使用余弦相似度，因此我们将在这里使用它。

现在我们可以调用match_documents()，传入我们的嵌入、相似度阈值和匹配计数，然后我们将获得所有匹配文档的列表。由于这一切都由 Postgres 管理，因此我们的应用程序代码变得非常简单。

索引

一旦您的表开始随着嵌入而增长，您可能希望添加索引以加快查询速度。向量索引在对结果进行排序时尤为重要，因为向量不是按相似性分组的，因此通过顺序扫描找到最接近的向量是一项资源密集型操作。

每个距离运算符都需要不同类型的索引。我们希望按余弦距离排序，因此我们需要vector_cosine_ops索引。列表的良好起始数量是 4 * sqrt(table_rows)：

create index on documents using ivfflat (embedding vector_cosine_ops)
with
  (lists = 100);

您可以在此处pgvector阅读有关GitHub 页面上索引的更多信息。

生成嵌入

让我们使用 JavaScript 生成嵌入并将它们存储在 Postgres 中：

create or replace function match_documents (
  query_embedding vector(1536),
  match_threshold float,
  match_count int
)
returns table (
  id bigint,
  content text,
  similarity float
)
language sql stable
as $$
  select
    documents.id,
    documents.content,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where documents.embedding <=> query_embedding < 1 - match_threshold
  order by documents.embedding <=> query_embedding
  limit match_count;
$$;

构建一个简单的搜索功能

最后，让我们创建一个边缘函数来执行相似性搜索：

import { serve } from 'https://deno.land/std@0.170.0/http/server.ts'
import 'https://deno.land/x/xhr@0.2.1/mod.ts'
import { createClient } from 'https://esm.sh/@supabase/supabase-js@2.5.0'
import { Configuration, OpenAIApi } from 'https://esm.sh/openai@3.1.0'
import { supabaseClient } from './lib/supabase'

export const corsHeaders = {
  'Access-Control-Allow-Origin': '*',
  'Access-Control-Allow-Headers': 'authorization, x-client-info, apikey, content-type',
}

serve(async (req) => {
  // Handle CORS
  if (req.method === 'OPTIONS') {
    return new Response('ok', { headers: corsHeaders })
  }

  // Search query is passed in request payload
  const { query } = await req.json()

  // OpenAI recommends replacing newlines with spaces for best results
  const input = query.replace(/\n/g, ' ')

  const configuration = new Configuration({ apiKey: '<YOUR_OPENAI_API_KEY>' })
  const openai = new OpenAIApi(configuration)

  // Generate a one-time embedding for the query itself
  const embeddingResponse = await openai.createEmbedding({
    model: 'text-embedding-ada-002',
    input,
  })

  const [{ embedding }] = embeddingResponse.data.data

  // In production we should handle possible errors
  const { data: documents } = await supabaseClient.rpc('match_documents', {
    query_embedding: embedding,
    match_threshold: 0.78, // Choose an appropriate threshold for your data
    match_count: 10, // Choose the number of matches
  })

  return new Response(JSON.stringify(documents), {
    headers: { ...corsHeaders, 'Content-Type': 'application/json' },
  })
})

构建更智能的搜索功能

ChatGPT 不仅仅返回现有文档。它能够将各种信息整合成一个统一的答案。为此，我们需要为 GPT 提供一些相关文档，以及一个可用于制定此答案的提示。

text-davinci-003 OpenAI补全模型的最大挑战之一是 4000 个 token 的限制。你必须将你的提示和最终的补全都放在 4000 个 token 之内。如果你想提示 GPT-3 回答有关你自己的自定义知识库的问题，而这些问题在单个提示中是无法解决的，那么这将非常具有挑战性。

嵌入可以通过将提示分为两个阶段的过程来帮助解决此问题：

  1. 查询嵌入数据库，查找与问题最相关的文档
  2. 将这些文档作为上下文注入，供 GPT-3 在其答案中引用

下面是另一个基于上述简单示例的边缘函数：

import { serve } from 'https://deno.land/std@0.170.0/http/server.ts'
import 'https://deno.land/x/xhr@0.2.1/mod.ts'
import { createClient } from 'https://esm.sh/@supabase/supabase-js@2.5.0'
import { Configuration, OpenAIApi } from 'https://esm.sh/openai@3.1.0'
import { supabaseClient } from './lib/supabase'

export const corsHeaders = {
  'Access-Control-Allow-Origin': '*',
  'Access-Control-Allow-Headers': 'authorization, x-client-info, apikey, content-type',
}

serve(async (req) => {
  // Handle CORS
  if (req.method === 'OPTIONS') {
    return new Response('ok', { headers: corsHeaders })
  }

  // Search query is passed in request payload
  const { query } = await req.json()

  // OpenAI recommends replacing newlines with spaces for best results
  const input = query.replace(/\n/g, ' ')

  const configuration = new Configuration({ apiKey: '<YOUR_OPENAI_API_KEY>' })
  const openai = new OpenAIApi(configuration)

  // Generate a one-time embedding for the query itself
  const embeddingResponse = await openai.createEmbedding({
    model: 'text-embedding-ada-002',
    input,
  })

  const [{ embedding }] = embeddingResponse.data.data

  // In production we should handle possible errors
  const { data: documents } = await supabaseClient.rpc('match_documents', {
    query_embedding: embedding,
    match_threshold: 0.78, // Choose an appropriate threshold for your data
    match_count: 10, // Choose the number of matches
  })

  return new Response(JSON.stringify(documents), {
    headers: { ...corsHeaders, 'Content-Type': 'application/json' },
  })
})

流式传输结果

OpenAI API 响应需要更长时间，具体取决于“答案”的长度。ChatGPT 通过立即将响应流式传输给用户，提供了良好的用户体验。你可以在 Supabase 文档中看到类似的效果：

OpenAI API 支持使用服务器端事件完成流式传输。Supabase Edge Functions 在 Deno 中运行，它也支持服务器端事件。查看此提交以了解我们如何修改上述函数以构建流式传输接口。

包起来

在 Postgres 中存储嵌入打开了一个无限可能的世界。您可以将搜索功能与遥测功能相结合，添加用户提供的反馈（点赞/踩），并使您的搜索与您的产品更加融合。

pgvector 扩展现已在所有新的 MemFire Cloud 项目中可用。要使用它，请启动一个新的 Postgres 数据库：database.new

更多 pgvector 和 AI资源

原文来自：https://supabase.com/blog/openai-embeddings-postgres-vector

叫卢卡的中国女孩
关注
  • 21
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
高维向量相似搜索插件 pgvector
biraotian的博客
04-04 2408
同时pase有对外公开发表的论文, 基于这个论文, 国外的开源爱好者开发了一个名为pgvector的插件, 支持ivfflat索引算法。embedding接口会返回一组vector，相对于其他数据的向量搜索，它生成的向量精确度更高，起初用的是supebase云数据库，后来替换成了postgres（支持私有化部署。正在用openai开放的接口做调试，用embedding接口来实现内容相似度检索，并用chatGPT生成答案，从目前来看实现的效果还不错。）
如何在 Greenplum 中使用 pgvector 和 OpenAI 构建大规模的基于 AI 的搜索引擎
Greenplum中文社区
07-25 312
...
pgvector:Postgres 的开源向量相似度搜索
08-05
向量 Postgres 的开源向量相似度搜索 CREATE TABLE table (column vector( 3 )); CREATE INDEX ON table USING ivfflat (column); SELECT * FROM table ORDER BY column < - > ' [1,2,3] ' LIMIT 5 ; 支持 L2 距离、内积和余弦距离 安装 编译安装扩展（支持 Postgres 9.6+） git clone --branch v0.1.7 https://github.com/ankane/pgvector.git cd pgvector make make install # may need sudo 然后将其加载到要使用它的数据库中 CREATE EXTENSION vector; 您还可以使用 、 或安装它 入门 创建一个 3
Langchain教程 | langchain+OpenAI+PostgreSQL（PGVector） 实现全链路教程，简单易懂入门
HRG520JN的博客
04-01 1969
在阅读本文前，建议要有一定的langchain基础，以及langchain中document loader和text spliter有相关的认知，不然会比较难理解文本内容。是一个开源向量相似性搜索Postgres它支持:- 精确和近似最近邻搜索- L2距离，内积和余弦距离。
探索高效数据库解决方案：pgvecto.rs —— PostgreSQL 的向量相似性搜索扩展
gitblog_00018的博客
05-16 433
探索高效数据库解决方案：pgvecto.rs —— PostgreSQL 的向量相似性搜索扩展 项目地址:https://gitcode.com/tensorchord/pgvecto.rs 在数据驱动的现代世界中，高效的存储和检索向量数据是许多应用的核心需求。pgvecto.rs 是一个强大的 PostgreSQL 扩展，它为数据库带来了向量相似性搜索的能力。这个创新项目由 Rust 编写，并基...
运用PostgreSQL在向量数据库的可扩展性，亚马逊云科技帮助企业构建智能化应用程序
MJ13125030552的博客
12-28 988
通过使用机器学习模型和Vector Embedding，企业可以提高相似度搜索、个性化推荐和欺诈检测的准确性和速度，最终提高用户满意度和更个性化的体验。视频网站、短视频平台同样可以从AI能力中获益，尤其是在视频相似度搜索和推荐方面，AI算法可以分析用户行为，并推荐与他们的兴趣点密切相关的视频内容，从而提升用户的整体观感体验，从而增加用户粘性。此外，AI驱动的图像和视频托管服务可以提供图像去重、图像相似度搜索和文本与图像相似度搜索等功能，从而实现搜索精度和搜索体验的整体改善。
OpenAI接口开发指南
小小明-代码实体的专栏
10-17 9909
本文先介绍了openai的主要api，然后演示了Function Calling 调用、Embeddings 嵌入、Fine-tuning 微调的操作示例，顺便演示了Prompt编程的示例。
AI应用开发：pgvector能帮你解决什么问题
weixin_44957042的博客
04-22 600
这对于我们的小数据库来说是可以的，但在现实世界的场景中，您可能希望对现有数据使用批处理，并可能使用某种事件触发器或更改流来随着数据库的变化保持向量更新。HNSW比IVFFlat具有更好的查询性能，对于IVFFlat索引，建议在表中有一些数据后创建索引，但HNSW索引没有像IVFFlat那样的训练步骤，所以可以在没有数据的表中创建索引。当我们在导入的数据上运行我们的查询脚本时，我们看到相似性搜索找到了两个与pgvector相似的文档，其中一个就是pgvector本身。两个向量之间的距离衡量它们的相关性。
使用 Flutter 和 OpenAI 构建内容推荐应用程序
weixin_44957042的博客
03-11 104
在本文中，我们研究了如何拍摄一部电影，并推荐了与所选电影相似的电影列表。这很有效，但我们只有一个样本可以从中获得相似性。如果我们想根据用户过去观看的 10 部电影推荐要观看的电影列表，该怎么办？有多种方法可以解决这样的问题，我希望通读这篇文章能激发你的求知欲来解决这样的问题。本文中应用的完整代码库国内版supabase工具MemFire Cloud俄罗斯套娃嵌入：使用自适应检索实现更快的 OpenAI 向量搜索Supabase pgvector 指南。
pgvector 支持 Rust 支持 Rust-Postgres、SQLx 和 Diesel
06-28
pgvector-rust对 Rust 的pgvector支持支持Rust-Postgres 、SQLx和Diesel入门按照您的数据库库的说明进行操作：Rust-PostgresSQLx柴油机Rust-Postgres将此行添加到[dependencies]下的应用程序Cargo.toml ：pgvector =...
gortex:在 golang 中使用 ORM 进行 postgres 文本搜索
07-13
创建范围，与 gorm 一起查找记录并将它们扫描到 Go 结构中 提供相当于 Textacular 高级搜索的功能 提供等效于 Textacular 模糊搜索 您甚至可以进行自己的搜索类型 生成的作用域没有状态，因此可以重复使用 示例设置...
playjpa:在 Play 中使用 Postgres json 类型的 POC
07-16
具体来说，我们可能希望将用户配置文件属性存储在 JSON 列中，以便我们可以动态地向配置文件添加属性，而不必每次都更改用户结构。关于 POC 在这个 POC 中，我使用了 2 个主要实体： Company和Employee ，它们都有...
postgres-word2vec：utils在postgres数据库中像word2vec向量一样使用单词嵌入
02-05
FREDDY是基于Postgres的系统，该系统能够使用词嵌入来显示以文本值编码的丰富信息。 数据库系统通常包含许多文本值，这些文本值表示许多潜在的语义信息，而标准SQL查询无法利用这些信息。 我们开发了一种Postgres...
OpenAI入门指南 aidoczh.com 上线OpenAI Cookbook中文版
数智笔记
07-16 1819
OpenAI Cookbook是一个涵盖广泛使用技巧和代码示例的资源，专门为希望学习和应用大语言模型（如GPT系列）的开发者和研究人员设计。这个资源库通过详细的文档、实际案例和易于理解的教程，帮助用户快速上手并深入掌握OpenAI技术的各个方面。Cookbook中包含了关于如何调用OpenAI API的基本指南，包括API的安装和配置、身份验证方法以及基本的请求和响应处理。对于初学者来说，这些基础知识是理解和使用OpenAI模型的关键起点。
9000字干货：从消息流平台Serverless之路，看Serverless标准演进
hwxiaozhi的博客
07-29 611
我们知道，流式存储在实时消费场景吞吐很高，其中一个重要原因，就是消费的数据，在pagecache中能命中，也就是我们所说的热数据，直接从pagecache获取数据，无需缓慢的IO操作，如果出现大量的冷数据访问，数据已经从pagecache中被逐出，需要从磁盘中读取，就会导致磁盘IO，时延上升，并且pagecache中的热数据被冷数据逐出，导致及时消费的流量也需要从磁盘中读取，pagecache“失效”，也就是缓存污染问题。去年10月，随着马斯克旗下的X工程技术团队的重磅发帖，下云，瞬间成为了一个热议话题。
零门槛AI 绘图：教你为客户定制 ComfyUI Serverless API 应用
最新发布
Serverless 社区
07-31 238
开启 Agent 能力，需要增加环境变量USE_AGENT1当通过 Agent 的 API 调用时，建议您调整单实例并发度为 1 ～ 5，确保并发请求尽量使用单独的实例，提高出图效率。
PostgreSQL成为最受欢迎的数据库； TiDB马拉松大赛开启, Serverless和Vector为比赛焦点
让每个人用好数据和云
07-26 317
但MySQL凭借着其广泛的使用度，依旧在初学者学习的数据库中占据第一 ( [2] )Cloud SQL for SQL Server 实例上支持 扩展事件 (XEvents) 来监控、识别和排查实例上数据库的性能 ([8] )在Ops Insights中，支持了HeatWave MySQL的SQL Insights 和 Capacity Planning ([18])托管PostgreSQL支持最新的小版本，包括16.3, 15.7, 14.12, 13.15, and 12.19 ( [5] )
如何在容器中部署war包到tomcat并使用postgres数据库
02-01
2. 在 Dockerfile 中使用 `COPY` 命令将 WAR 包复制到 Tomcat 的 webapps 目录中。 3. 在 Dockerfile 中使用 `EXPOSE` 命令将 Tomcat 的 HTTP 端口暴露出来。 4. 在 Dockerfile 中使用 `CMD` 命令启动 Tomcat。 5...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值