【你提我说】Python 处理超大 JSON 文件，这个方法简单

代码输入中...

于 2022-06-04 21:29:12 发布

阅读量1.2k

点赞数 2

文章标签： python pycharm 开发语言游戏程序

本文链接：https://blog.csdn.net/m0_59485658/article/details/125125844

版权

本文探讨了在Python中处理大型JSON文件时遇到的内存效率问题，并介绍了使用流解析（如ijson库）来降低内存消耗和提高性能的解决方案。通过实例展示了如何使用ijson按需读取和解析JSON文件，从而将内存峰值从124MB降至3.6MB。

摘要由CSDN通过智能技术生成

如果你需要在 Python 中处理一个大的 JSON 文件，会很容易出现耗尽内存的情况。即使原始数据大小小于内存容量，Python 也会进一步增加内存使用量。这意味着程序会在与磁盘交互时处理缓慢，或在内存不足时崩溃。

一种常见的解决方案是流解析，也就是惰性解析、迭代解析或分块处理。让我们看看如何将此技术应用于 JSON 处理。

问题：Python中加载JSON内存效率低

我们使用这个大小为24MB的JSON文件来举例，它在加载时会对内存产生明显的影响。这个JSON对象是在GitHub中，用户对存储库执行操作时的事件列表：

[{"id":"2489651045","type":"CreateEvent","actor":
{"id":665991,"login":"petroav","gravatar_id":"","url":"https://api.github.com/users/petroav","avatar_url":"https://avatars.githubusercontent.com/u/665991?"},"repo":
{"id":28688495,"name":"petroav/6.828","url":"https://api.github.com/repos/petroav/6.828"},"payload":
{"ref":"master","ref_type":"branch","master_branch":"master","description":"Solution to homew