最近接触到一个非常有趣的挑战,涉及到人工智能数字化大量文件的能力,并使用户可以在这些文件上提出复杂的与数据相关的问题,比如:
- 数据检索问题:涉及从数据库中获取特定数据点或数据集,例如“电子产品类别中有多少产品?” 或 “2021年第四季度总销售额是多少?”
- 汇总查询:需要对数据进行总结的问题,如计算平均值、求和、计数等,例如“所有已上架产品的平均价格是多少?”或“每个地区客户的总人数是多少?”
- 数据关系探索:探究不同数据实体之间关系的问题,比如"哪些客户购买了三种以上不同的产品?" 或 "列出上个月没有交付任何产品的所有供应商。"
- 条件查询:涉及条件或筛选器,比如“列出2022年发生在超过500美元交易额以上的所有交易” 或 “展示所有缺货商品。”
这些不是你可以仅通过使用RAG来解决的典型问题。相反,我们将利用LangChain
的SQLAgent
从人类文本中生成复杂的数据库查询。
文档应包含具有大量规格说明的数据,以及更多流畅、自然语言描述等。
我们将执行以下步骤,最终能够提出关于大量文档的复杂问题:
- 阅读所有
PDF文档
。 - 使用
GPT
分析每个文档的内容,将其解析为JSON
对象。 - 将这些对象写入
SQLite
获取其他数据库中,分布在多个表中。 - 使用
LangChain SQL
代理程序通过自动生成SQL
语句来提出问题。
备注:本文涵盖了涉及人工智能和数据处理的概念。为了获得最大价值,您应具备对Python编程能力、GPT模型接入能力、嵌入式技术了解、向量搜索和SQL数据库的基础理解以及使用能力。
使用 Python、LangChain 和 GPT 分析文档
我们将使用Python
和LangChain
来读取和分析PDF
文档。我使用的 Python
为 Python 3.11
。
首先,我们安装环境所需要的依赖包:
现在,让我们来深入研究 PDF
解析。我们的目标是使用 visitor_text
提取有意义的内容,同时忽略不太有用的信息,例如空行、页眉和页脚。
让我们查看解析后的文档:
在解析的内容中,显而易见地发现它缺乏结构 — 表格不连贯,相关实体分散。
我们使用 GPT
重新帮我们整理文档的内容:
- 我们将指示GPT将解析的数据格式化为一个结构化JSON对象。
- 通过提供一份解析数据的示例,以及在前面加上<<<的提示,我们可以引导
GPT
理解并整理文档。 - 利用
OpenAI Chat API
,我们将请求GPT
从一组新的解析产品数据中生成一个JSON
对象。
让我们构建一条深思熟虑的系统消息来启动这个过程。我们将以清晰的指令为GPT
开头,接着呈现解析后的数据作为背景,并夹杂目标性提示来完善输出:
认真观察我们如何整合各种提示来塑造我们所需的精确JSON
输出。
我的 prompt 是不同方法的集合:
- <<< benefits(字符串[])— 这里开始了一个字符串列表。
- <<< benefits.[*] — 这行属于字符串列表。
- <<< product_family(对象)— 这里开始了一个对象。
- <<< product_family.temperature = 6000 — 这行是对象的整数属性
- <<< product_family.watts_min = 450,product_family.watts_max = 1000 — 这一行是两个整数属性(例如,当有类似功率:450…10,000 W 的语句时)
在这里你可以完全发挥创意,尝试任何对你有意义的东西。而且需要多次调试 prompt 的内容以适应你的应用场景。
注意: 这里 prompt 最好还是英文的好, 最好不要中文和英文夹着来。
请将以下文本翻译成中文:
要翻译的文字:
- 将其翻译成另一种语言。
- 提供摘要或提供项目符号下的整个句子。
- 将数据拆分为名字和姓名。
测试 prompt
现在我们是时候测试一下 GPT
了,看看它是否能够完美地将我们混乱的 PDF
文本转换成一个整洁的 JSON
对象。
GPT-3.5-Turbo
的0125版本在以JSON
等请求格式响应时具有更高的准确性,这非常适合我们的情况! 我们已经准备好了system_message
,并将其与document_content
配对作为输入:
一切就绪,我们看一下我们得到的JSON
输出了:
从结果看还是相当不错的。它找到的对象和属性是准确无误。
然而,有一个明显BUG:GPT忽略了一些关键元素,比如利益和产品系列
那么,我们的如何做呢?转向使用 GPT-4
看看效果,它提供增强功能但成本更高且响应时间较慢,还是调整策略以包括函数调用来优化资源同时保持效率?
通过提供一个 JSON Schema 来改善 prompt
在使用 GPT
时,function call
是我最喜欢的功能。它允许我们指定不仅 GPT
可执行的函数本身,还可以指定我们自己的函数所需的 JSON
参数。
下面是一个 function call
的示例:
最新的模型gpt-3.5-turbo-0125
和gpt-4-turbo-preview
经过训练,能够检测何时启动功能调用,并生成与指定函数签名相符的JSON
输出.
为了充分利用这一点,我们优化我们的提示,以包含我们期望返回的 JSON
模式。
调整我们的方法后,让我们来看一下新的输出:
这个结果很美丽哦😯。
输出完整地映射了名称和描述,将应用分类为字符串列表,并使用最小值和最大值区分范围 — 所有这些都与我们的 JSON
模式期望完美对齐。
探索 LangChain 的QA能力
虽然幕墙我们主要关注 PDF
分析和 SQL Agent
,但如果你已经想继续探索的话,可以尝试使用 LangChain Q&A 和 RAG,尤其是因为它与我们更广泛的目标相契合。
我将提供一些代码和输出,这样我们就能迅速转入真正的内容领域了。
让我们先收集更多产品数据. 下载一些额外随机的PDF文档,并将它们存储在指定的文档文件夹中。接下来,我们需要添加一些代码:
下一步涉及阅读和转换所有已下载的PDF
文档,然后将它们的JSON
输出汇总到一个数组中。
此外,我们将整合FAISS
相似性搜索库,并将其与我们的文档内容和嵌入模型对齐,以便实现内容向量化。
FAISS是由 Facebook 于2017年开发的,作为 Azure 人工智能搜索服务中 Azure 机器学习的开源替代方案——在比较嵌入向量方面表现相当不错。
提出问题:
观察以最相关的文件内容为基础的回复。
不能,XBO 1000 W/HS OFR 的尺寸为长410毫米,宽184毫米,比盒子的尺寸大,后者为长350毫米,宽200毫米。
目前进展还是不错的。 现在让我们深入研究更高级的应用程序。
SQLight 和 LangChain SQL 代理
RAG
是一个已建立的技术,使用户能够与他们自己的数据进行交流。对于需要一些内部、无结构信息的情况来说,它非常强大。
虽然 RAG
在导航无结构信息方面表现出色,但如何询问与数据相关得多的信息呢? 比如,请给我所有至少有 4000 瓦特的产品。或者提供足够容纳所有产品的运输纸箱尺寸?
当涉及数据中心查询时,SQL
的精准性和结构就会发挥作用。
在SQLite数据库中管理我们的数据
为了管理我们的数据,需要在数据库中对其进行系统化处理。这里直观的步骤包括将数据结构化为SQLite
中的关系表,以便执行一些更复杂的查询。
虽然不是强制性要求,但我建议添加以下备用步骤:定义映射我们 JSON
输出结构的类。
通过在数据库插入前集成这些,我们不仅简化了数据验证过程,还确保我们的数据符合预期格式。
如果解析后的 JSON
字典缺少未标记为可选项的必要属性,则可能有错误发生。
建立这些类之后,我们重新查看我们的PDF
文档。
这一次我们将它们转换为JSON
格式,并创建Product
对象的实例。此外,我将所有处理过的文档移动到一个processed
文件夹中。
上面的代码太简单了,就不做注释了。
现在我们已经编写了一个强大的产品实例列表,准备插入数据库表中。
对于我们的目前的功能来说,SQLite
数据库就足够了。我们会创建三张表来存放我们的数据集:
- 产品 — 产品的基本规格(名称,描述,长度)。
- 产品应用 — 与特定产品相关联的应用程序列表。
- 产品优势 — 与特定产品相关联的优势列表。
我们将执行以下步骤:
- 初始化数据库并创建表格。
- 为每个表格创建包含相关产品数据的元组。
- 执行数据插入过程。
启动数据库并创建表格:
继续创建元组:
最后插入数据:
不要忘记关闭光标和连接。
让我们来查看一下我们的数据库表格。这里和那里有些字段是NULL,只是因为产品数据表上没有相应的信息。所以没关系。
但所有重要信息都已解析并成功转换。所以我对结果非常满意!
使用 LangChain SQL Agent
查询信息
向 LangChain SQL Agent
提问!
LangChain
的SQL
代理提供了一种动态与SQL
数据库进行交互的方式。它擅长解释表结构并根据用户提示生成SQL
查询。
使用SQL
代理的主要优势包括:
- 它可以根据数据库模式或内容(如描述特定表)来回答问题。
- 它能通过运行生成的查询、捕获溯源并正确地再生来从错误中恢复。
- 它可以根据需要多次查询数据库以回答用户的问题。
- 只检索相关表的模式,从而节省token。
正如你所期待的那样,LangChain的代码非常清晰,即使在执行复杂操作时也是如此。
对于使用SQL Agent
进行查询,这次我想要利用GPT-4
。与需要导入大量文档并进行广泛处理相比,数据量较小且可控。
一切就绪。我们提出一些比较简单的问题,比如我们目前有多少种产品。
它给出了一个完全正确的答案,包括 SQL 语句:
Invoking:
sql_db_query
withSELECT COUNT(\*) AS NumberOfProducts FROM Product
[(20,)]There are 20 products in the database*.*
虽然看起来很简单,SQL
代理的能力不仅在于制定SQL
查询,还包括识别现有的表格.
现在,让我们增加一些复杂性。我想找到一个适用于所有产品的包装尺寸。
To accommodate all products, the packaging size would need to have the following dimensions:
Length: 605 mm
Width: 420 mm
Height: 900 mm
Weight: 7177.0 grams
This size would work for all products in the database.
这是 SQL 代理设计的查询,用于检索所需信息:
sql_db_query
with
SELECT MAX(packaging_length) AS max_length, MAX(packaging_width) AS max_width, MAX(packaging_height) AS max_height, MAX(packaging_weight) AS max_weight FROM Product
现在我们想得到更多信息!让我们询问具有最高可能温度及其用途的产品。
这些信息存储在另一个表中:
完美,“SharXS 1500W Brilliant” 绝对是拥有最高可能温度的产品:
SQL Agent
甚至聪明地找到了ProductApplication
表上的引用:
总结:
GPT版本0125 可以完美地提供 JSON
格式的数据。OpenAI
致力于增强函数调用,并确保它符合用于创建可计算机读取格式的标准用例。
不过个人觉得允许语言模型自主执行查询依然风险太大了。
推荐阅读
使用谷歌 Gemini API 构建自己的 ChatGPT(教程一)
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库