Java读取单个大文件的json数据避免内存溢出（一单线程版本）

XiuL

已于 2022-11-02 11:17:50 修改

阅读量1.8k

点赞数

分类专栏： java篇文章标签： java json 开发语言

于 2022-11-02 09:55:47 首次发布

本文链接：https://blog.csdn.net/qq_35310348/article/details/127646178

版权

本文介绍如何处理单个大型JSON数组文件，以防止内存溢出。通过按行读取文件，当缓存达到一定量时进行业务处理，然后清空缓存，以此方式有效地管理内存。

摘要由CSDN通过智能技术生成

需求说明

单个很大的json数组文件，例如10g。如果一次性加载到内存可能导致内存溢出，因此使用按行读取，读取完成后缓存到一定量就做业务处理，再请空缓存。
单个json文件存储格式是标准的json数组格式

json数据示例

整体格式保证正确即可

[
  {
   "概念":"人物","name":"张三",
    "身高":"176cm"
  },{
   "概念":"人物","name":"李四",
  "身高":"176cm","年龄":"22岁"},{
   "概念":"地点","name":"四川","人口":"5000万"},
  {
   "概念":"人物",
  "name":"张三1","身高":"176cm"}
,{
   "概念":"人物","name":"李四1",
  "身高":"176cm","年龄":"22岁"
},
  {
   "概念":"地点","name":"四川1","人口":"5000万"},{
   "概念":"人物","name":"张三2","身高":"176cm"},{
   "概念":"人物",
  "name":"李四3","身高":"176cm","年龄":"22岁"},{
   "概念":"地点","name":"四川2","人口":"5000万"},{
   "概念":"人物","name":"张三3","身高":"176cm","体重":"70kg","爱好":"篮球"},