用JSON Toolkit轻松解析大型JSON数据对象

最新推荐文章于 2024-10-06 08:55:12 发布

stjklkjhgffxw

最新推荐文章于 2024-10-06 08:55:12 发布

阅读量380

点赞数 3

文章标签： json

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142286517

版权

引言

在处理大型JSON数据时，常常面临如何从复杂结构中提取所需信息的挑战。对于超出LLM上下文窗口的JSON对象，手动查找和解析显得尤为困难。在这篇文章中，我们将介绍如何使用Langchain的JSON Toolkit来有效处理和查询大型JSON数据，以解决这一问题。

主要内容

1. JSON Toolkit简介

JSON Toolkit提供了一套工具，可以通过代理与复杂的JSON对象交互。它能够递归探索JSON结构，自动提取用户所需的数据。这在处理涉及API规范的大规模JSON时尤其有用。

2. OpenAI API示例

这里我们使用OpenAI API的OpenAPI规范，展示如何利用JSON Toolkit来提取特定信息。

分步操作：

加载OpenAPI规范：我们首先加载API的OpenAPI yaml文件。
初始化JSON Toolkit：创建JSON规范对象并初始化工具包。
创建执行代理：通过create_json_agent结合Langchain的OpenAI接口来处理请求。

代码示例

以下是一个完整的代码示例，展示如何获取POST请求的必需参数：

# 安装必要的包
%pip install -qU langchain-community

# 初始化
import yaml
from langchain_community.agent_toolkits import JsonToolkit, create_json_agent
from langchain_community.tools.json.tool import JsonSpec
from langchain_openai import OpenAI

# 加载OpenAPI规范
with open("openai_openapi.yml") as f:
    data = yaml.load(f, Loader=yaml.FullLoader)

# 创建JsonSpec对象
json_spec = JsonSpec(dict_=data, max_value_length=4000)
json_toolkit = JsonToolkit(spec=json_spec)

# 创建JSON代理执行器
json_agent_executor = create_json_agent(
    llm=OpenAI(temperature=0), toolkit=json_toolkit, verbose=True
)

# 获取/completions端点的必需参数
json_agent_executor.run("What are the required parameters in the request body to the /completions endpoint?")