在 PostgreSQL 中为生成式 AI 应用程序查询向量数据的最佳实践

关键字: [Amazon Web Services re:Invent 2023, pg_vector, Vector Search, Vector Databases, Approximate Nearest Neighbor, Pg_Vector, Embedding Models]

本文字数: 1700, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV15N4y1a7LE

导读

PostgreSQL 通过 pgvector 扩展使存储和查询 AI/ML 用例的向量数据变得更容易。了解向量搜索的最佳实践将帮助您为客户提供高性能体验。在本讲座中，您可学习如何将 Amazon Bedrock 中的数据存储在 Amazon Aurora PostgreSQL Compatible Edition 数据库中，并了解在使用 AI/ML 数据、向量数据类型、精确和近似近邻搜索算法以及向量优化索引时，哪些 SQL 查询和调整参数可优化应用程序的性能。

演讲精华

以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

在2022年re:Invent上，Jonathan Katz博士就如何在PostgreSQL中使用开源pg_vector扩展来查询向量数据提出了一些建议。他首先解释了生成式AI模型的出现及其在数据库领域的应用所带来的一系列新的机遇和挑战。这些基础模型是通过训练大量公开可用的数据而形成的机器学习模型，具有令人印象深刻的类似人类的推理和响应生成能力。例如，Katz描述了一个在线佛罗里达州纪念品商店的应用程序，该应用程序由一个基础模型驱动，可以通过在商店目录数据库中搜索类似产品来对客户查询提供上下文相关的回应。然而，要充分利用这些强大的模型，企业需要在基础模型和现有数据库及应用之间建立一个通用接口，这就是向量表示发挥作用的地方。

向量表示为经过嵌入模型处理的数据提供了一个数学表征，将原始输入转换为一个密集向量编码。Katz概述了这些向量表示所带来的机会和挑战，以及在考虑存储和检索时的难点：

• 生成向量嵌入是一个计算密集型过程，因此保存它们而不是每次查询时重复嵌入是非常有价值的。例如，Katz指出，亚马逊TITAN生成的1536维向量，每维4字节浮点值，相当于每向量6KB。

• 随着这种常见的格式产生如此大小的向量，大规模存储和内存变得具有挑战性。Katz指出，即使有100万个TITAN向量，也需要近