Java中实现超大Json文件读取，还不会内存溢出

最新推荐文章于 2024-07-31 14:27:48 发布

林老师带你学编程

最新推荐文章于 2024-07-31 14:27:48 发布

阅读量7.4k

点赞数 1

分类专栏： java 文章标签： json gson fastjson

本文链接：https://blog.csdn.net/linzhiqiang0316/article/details/105693708

版权

本文介绍了如何使用Java处理超大Json文件，避免内存溢出。通过对比FastJson和Gson的流式解析，发现Gson可以在低内存环境下成功解析大文件，虽然耗时较长，但适合资源有限的情况。而FastJson在内存限制下无法完成解析。在内存充足时，两者解析速度接近。

摘要由CSDN通过智能技术生成

一般来说Json文件都相对比较小，但是盖不住有些变态的需求中，Json的文件简直大到让你发指，那如果遇到超大Json解析的时候，我们又该如何解决呢？今天就给大家分享一种，可以利用极低的内存，就可以解析任意大小的Json文件的方法。

一、准备大Json文件

在win10系统E盘目录下，准备一个接近400M的超级大Json文件（gz压缩包解压之后的文件大小），如下图所示：

在IDEA中，我们将运行类的VM参数设置为10M，如下图所示：

二、FastJson流式解析

我们先来看看阿里巴巴的FastJson流式解析是否能在10M的内存下面，解析完全部的Json文件数据，代码如下所示：

FileInputStream fileInputStream = new FileInputStream("E:/home/data/advertisement/report/2020-04-07/3680_700_us_2020-03-25_keywords_941640770740

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

林老师带你学编程

关注关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
4
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

java nio 包读取超大数据文件

12-19

Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件Java nio 超大数据文件超大数据文件

11-高性能JSON库——fastjson2

titanium的博客

06-17

2997

fastjson2

4 条评论您还未登录，请先登录后发表或查看评论

Java逐层解析JSON的内存占用分析

木头大左的博客

05-15

420

哈喽，大家好，我是木头左！在当今的软件开发世界中，JSON（JavaScript Object Notation）已经成为了数据传输和存储的事实标准。由于其轻量级且易于人类阅读的特点，JSON被广泛用于Web服务、移动应用以及各种前后端交互场景。然而，当处理大量或者复杂的JSON数据时，内存占用和解析效率成为了开发者不得不面对的问题。本文将深入探讨Java中逐层解析JSON时的内存占用情况，并通过分析数据结构的底层原理，帮助开发者优化其代码，减少内存消耗，提升应用性能。

Java 内存溢出（java.lang.OutOfMemoryError）的常见情况和处理方式总结（oom）

热门推荐

haohao_ding的博客

10-25

1万+

项目场景：采集设备每小时将采集的信息已json文件的形式上报到指定位置，项目服务每小时定时读取文件的内容，然后将文件中的信息解析入库，前期由于上报的文件较小，所有采用直接将json字符串转javaBean对象然后分析后入库。等上正式环境后发现每小时上报的文件高达200M~400M，此时jvm直接内存溢出。问题分析： 200M的数据包含的对象信息有100w之多，所以解析json数据和解析后...

不愧是阿里P8！2021最新阿里Java面经

m0_57472099的博客

06-16

765

摘要 Spring框架自诞生来就备受开发者青睐，很多开发者一致认为它是目前最屌的Java项目，正是因为它的“过人之处”，市面上99%的企业都在使用Spring框架。所以，Spring一直Java技术里的重点难点，也是Java开发者面试中的重点，重要性不言而喻。谷歌大牛甚至直言：“对于Java开发者，学习Java就是在学Spring。” 本篇内容一定是你从所未见过的学习笔记，我将分成4个部分跟大家分享，请认真看完本文，对你工作一定大有帮助！本文所提供的限量版笔记无偿分享，请关注我！转发！点赞！支持一下！

完美解决java读取大文件内存溢出的问题

08-29

在Java中读取大文件时，内存溢出是一个常见的问题。传统方式的读取文件方式会将整个文件读取到内存中，导致程序抛出OutOfMemoryError异常。但是，我们可以通过行迭代方式来读取大文件，从而避免内存溢出。传统方式...

JAVA内存溢出问题总结

01-14

JAVA 内存溢出问题是指应用系统中存在无法回收的内存或使用的内存过多，最终使得程序运行要用的内存大于虚拟机能提供的最大内存。内存溢出问题可以从容器和程序类两个方面进行排查，容器问题可以调整容器参数来解决...

java对于Json文件的解析范例

06-18

本文将深入探讨如何使用Java解析JSON文件，包括所需的库、时间戳转换和文件读写操作，以及ArrayList类中可能遇到的问题。首先，解析JSON文件，我们通常会用到两个流行的Java JSON库：Jackson和Gson。Jackson库提供...

完美解决因数据库一次查询数据量过大导致的内存溢出问题

08-27

数据库查询是应用程序与数据交互的重要环节，当一次性从数据库中获取的数据量过大时，可能会导致内存溢出（Memory Overflow）问题。内存溢出是程序在申请内存时，无法在分配到足够的内存空间来完成操作，这通常是...

（Java）json和String互转必备Jar包

01-01

在Java编程中，JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它使得人和机器都能容易地读取和编写数据。JSON格式通常用于Web服务与客户端之间的数据传输，因为它的结构清晰，易于解析。然而，...

java中通过DOM4J解析XML文件

05-27

在Java中解析XML文件，可以使用DOM4J库的`SAXReader`类来读取XML文档，并通过`Document`类来操作XML结构。例如，以下代码展示了如何使用DOM4J解析XML文件并获取元素的属性值： ```java SAXReader reader = new ...

java json serialize_java - @JsonSerialize不起作用 - 堆栈内存溢出

weixin_35045970的博客

02-24

1653

在Spring / Hibernate项目中，在我的实体类中，我有：package klab.finance.main.entity;import com.fasterxml.jackson.annotation.JsonIgnoreProperties;import com.fasterxml.jackson.databind.annotation.JsonDeserialize;import ...

Java读取单个大文件的json数据避免内存溢出（二多线程版本）

qq_35310348的博客

11-02

1256

Java读取单个大文件的json数据避免内存溢出（二多线程版本）

java 大文件解析_JAVA - 解析巨大（超大）JSON文件的最佳方法

weixin_29188043的博客

02-24

3679

我会建议看看Jackson Api结合流和树模型解析选项是非常简单的：您可以通过流式传输整个文件，然后将单个对象读入树中结构体。作为example，我们采取以下输入：{"records": [{"field1": "aaaaa", "bbbb": "ccccc"},{"field2": "aaa", "bbb": "ccc"}] ,"special message": "hello, world!...

java 流式json解析超大json文件

08-01

Java中可以使用Jackson库来流式解析超大的JSON文件。Jackson是一个快速和高效的JSON处理库，它支持流式解析JSON文件，可以有效地减少内存消耗和处理时间。首先，需要使用Jackson库中的JsonFactory类创建一个JsonParser对象。JsonParser对象可以从文件中读取JSON数据并进行解析。可以使用JsonFactory的createParser(File file)方法来创建JsonParser对象。然后，可以使用JsonParser对象的循环语句读取JSON文件中的每个JSON对象。JsonParser提供了一系列的方法来获取JSON对象的各个部分，比如获取JSON的字段值、数组元素等等。在循环中，可以使用if-else语句来判断当前解析到的JSON对象的类型，然后根据类型做相应的处理。通过这种方式，可以逐步解析JSON文件，并在不加载整个文件到内存中的情况下处理JSON数据。另外，为了避免内存溢出，可以在循环中使用适当的方式来释放已经处理完的JSON对象，比如使用JsonParser的skipChildren()方法来跳过当前JSON对象的子对象。最后，记得在处理完JSON文件后关闭JsonParser对象和相关的资源，以释放内存并保证程序的性能。总结起来，使用Jackson库来流式解析超大的JSON文件，可以有效地减少内存消耗和处理时间，并且能够灵活地处理各种JSON对象。