使用LangChain进行JSON和JSONL数据加载

最新推荐文章于 2025-02-18 18:25:13 发布

bBADAS

最新推荐文章于 2025-02-18 18:25:13 发布

阅读量526

点赞数 9

文章标签： langchain json 服务器 python

本文链接：https://blog.csdn.net/bBADAS/article/details/145618894

版权

技术背景介绍

JSON（JavaScript Object Notation）是一种开放标准的文件格式和数据交换格式，使用人类可读的文本来存储和传输数据对象，这些对象包括属性-值对和数组（或其他可序列化值）。JSON Lines是一个文件格式，其中每一行都是一个有效的JSON值。

LangChain实现了一个JSONLoader，用于将JSON和JSONL数据转换为LangChain的Document对象。它使用指定的jq架构来解析JSON文件，从而将特定字段提取到Document的内容和元数据中。

这里我们将演示：

如何将JSON和JSONL数据加载到LangChainDocument的内容中；
如何将JSON和JSONL数据加载到与Document关联的元数据中。

# 安装必要的依赖
!pip install jq

核心原理解析

LangChain中的JSONLoader能够使用jq架构解析JSON文件，并将感兴趣的字段加载到Document对象中，同时允许自定义元数据的提取。

代码实现演示

JSON文件加载示例

假设我们对JSON数据中的messages键下的内容字段感兴趣。可以通过JSONLoader轻松提取这些值，如下所示：

import openai
from langchain_community.document_loaders import JSONLoader
from pathlib import Path
from pprint import pprint

# 加载JSON示例数据文件
file_path = './example_data/facebook_chat.json'
data = json.loads(Path(file_path).read_text())
pprint(data)

# 使用JSONLoader加载内容
loader = JSONLoader(
    file_path=file_path,
    jq_schema='.messages[].content',
    text_content=False
)

data = loader.load()
pprint(data)

JSON Lines文件加载示例

如果要从JSON Lines文件中加载文档，可以将json_lines参数设为True并指定jq_schema来提取内容。

file_path = './example_data/facebook_chat_messages.jsonl'
pprint(Path(file_path).read_text())

loader = JSONLoader(
    file_path=file_path,
    jq_schema='.content',
    text_content=False,
    json_lines=True
)

data = loader.load()
pprint(data)

提取元数据示例

为了从JSON文件中提取元数据，需要实现一个metadata_func，该函数负责识别记录中的信息并将其包含在最终的Document对象的元数据中。

def metadata_func(record: dict, metadata: dict) -> dict:
    metadata["sender_name"] = record.get("sender_name")
    metadata["timestamp_ms"] = record.get("timestamp_ms")
    return metadata

loader = JSONLoader(
    file_path='./example_data/facebook_chat.json',
    jq_schema='.messages[]',
    content_key="content",
    metadata_func=metadata_func
)

data = loader.load()
pprint(data)