使用Spring AI 和 LLM 实现数据库查询

AIDocumentLibraryChat 项目已扩展为支持提问来搜索关系数据库。用户可以输入一个问题，然后嵌入搜索相关的数据库表和列来回答问题。然后，LLM 获取相关表的数据库架构，并根据找到的表和列生成一个 SQL 查询，来展示结果回答问题。

数据集和元数据

使用的开源数据集有 6 个表，彼此之间有关系。它包含有关博物馆和艺术品的数据。为了获得有用的问题查询，必须为数据集提供元数据，并且必须在嵌入中转换元数据。

​

为了使 LLM 能够找到所需的表和列，它需要知道它们的名称和描述。对于像 museum 表这样的所有数据表，元数据都存储在 column_metadata 和 table_metadata 表中。它们的数据可以在以下文件中找到: column_metadata.csv 和 table_metadata.csv。它们包含表或列的唯一 ID、名称、描述等。该描述用于创建与问题嵌入进行比较的嵌入。描述的质量对结果有很大的影响，因为更好的描述会使嵌入更精确。提供同义词是提高质量的一种选择。表元数据包含表的模式，以便仅向 LLM 提示符添加相关的表模式。

嵌入

为了在 Postgresql 中存储嵌入，使用了向量扩展。可以使用 OpenAI 端点或 Spring AI 提供的 ONNX 库创建嵌入。创建了三种类型的嵌入：

• Tabledescription嵌入
• Columndescription嵌入
• Rowcolumn嵌入

Tabledescription 嵌入有一个基于表描述的向量，嵌入有 tablename、datatype = table 和元数据中的元数据 id。
Columndescription 嵌入有一个基于列描述的向量，嵌入有表名、带列名的数据名、datatype = column 和元数据中的元数据 id。

Rowcolumn 嵌入有一个基于内容行列值的向量。用于美术作品的样式或主题，以便能够使用问题中的值。元数据具有datatype = row、作为 dataname 的列名、表名和元数据 id。

实现搜索

搜索有 3 个步骤：

1. 检索嵌入
2. 创建提示
3. 执行查询并返回结果

检索嵌入

为了从具有向量扩展的 Postgresql 数据库中读取嵌入，Spring AI 使用 DocumentVSRepositoryBean 中的 VectorStore