python ijson处理大json文件（内存溢出解决）

最新推荐文章于 2024-10-09 09:09:59 发布

Dre.

最新推荐文章于 2024-10-09 09:09:59 发布

阅读量2.1k

点赞数

分类专栏： note 文件处理文章标签： python json 开发语言

本文链接：https://blog.csdn.net/qq_33470156/article/details/121080511

版权

文件处理同时被 2 个专栏收录

3 篇文章

订阅专栏

note

2 篇文章

订阅专栏

本文介绍了一种利用Python的ijson库来解析大型JSON文件的方法。通过逐步解析并提取所需字段的方式，有效地实现了对数据的批量处理及存储。本文重点讲解了如何设置ijson解析器、遍历JSON数据并将其格式化为可用格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

code notes for explanation

# before using , please "pip install ijson",
# details by seeing official website: https://pypi.org/project/ijson/
import ijson
    flag = 0
    with open(train_path) as file:

        parser = ijson.parse(file)
        data = []
        for prefix, event, value in parser:
            # "start_map" is the beginning of a chunk of json 
            # "end_map" is the ending of a chunk of json 
            #  via getting the beginning and end of a chunk of json to format json 
            if event == "start_map":
                sinle = {}

            if prefix == "item.id":
                sinle.update({"id": value})

            if prefix == "item.title":
                sinle.update({"title": value})

            if prefix == "item.description":
                sinle.update({"description": value})
  
            if event == "end_map":
                data.append(sinle)

            if len(data)==10:
                json.dump(data,open("data/train_10.json","w"),ensure_ascii=False)
                break