解析一个20M大小的xml文件

最新推荐文章于 2021-04-07 23:33:02 发布
最新推荐文章于 2021-04-07 23:33:02 发布
阅读量2.2k 收藏
点赞数
文章标签： xml exception thread parsing java 测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TKDD/article/details/540673
版权

由于项目的需要，要解析一个20M大小的xml，分别使用DOM，SAX，JDOM和DOM4J进行比较

文件大小在10k左右时工作良好
但是在使用20M的xml测试时，没有一个可以正常工作

DOM
:Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

JDOM
:Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

DOM4J
:Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

SAX
:Error during parsing 0
:java.lang.ArrayIndexOutOfBoundsException: 0

结果有些出乎意料，不过考虑到分配给jvm的未必是所有的系统内存，所以重新运行， java -Xms256m -Xmx256m MyClass得到了DOM，JDOM，DOM4J以及SAX的测试结果，考试成绩是SAX表现最佳，JDOM最差

TKDD
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Dom解析20M以上的xml文件各节点一树状菜单显示
05-28
这是Dom解析大xml文件的例子，它能使xml各节点，一树状菜单的形式显示在页面上。
大型Xml解析的parseUtil源码
02-28
`parseUtil`源码正是为了解决这一问题而设计的，它是一个用于高效解析大型XML文件的工具类。下面我们将详细探讨其设计思路和相关知识点。 1. **分批读取策略**： - 大型XML文件的处理通常采用流式解析（Streaming...
XML文档解析
CDHong.it的技术分享博客
03-25 202
XML： 概念：Extensible Markup Language 可扩展标记语言: 可扩展：标签都是自定义的。 功能: 存储数据( 配置文件 | 在网络中传输) 语法: 基本语法： xml文档的后缀名 .xml xml第一行必须定义为文档声明 xml文档中有且仅有一个根标签 属性值必须使用引号(单双都可)引起来 标签必须正确关闭 xml标签名称区分大小写 解析方式: ...
如何得到XML文档大小
zgqtxwd的专栏
04-24 328
<!--google_ad_client = "pub-2947489232296736";/* 728x15, 创建于 08-4-23MSDN */google_ad_slot = "3624277373";google_ad_width = 728;google_ad_height = 15;//--><script type="text/javascript"
XML文件解析
柒年
07-19 2696
XML文件解析(原文) python文件操作 网页基本知识，HTML和XML 一、HTML: HTML即Hyper Text Markup Language，指的是超文本标记语言（不是编程语言）  超文本标记语言的结构包括“头”部分（英语：Head）、和“主体”部分（英语：Body），其中“头”部提供关于网页的信息，“主体”部分提供网页的具体内容。  标记符:HTML,说明该文件是用超文...
mysql_设置最大文件大小为20M
十年磨剑
01-31 1649
基于windows 7系统的mysql 最大文件插入限制 1.修改mysql根目录下my.ini文件     添加[mysqld]     max_allowed_packet = 20M 2.CMD控制台     net stop mysql     net start mysql
STM32解析XML
09-02
在STM32这样的微控制器上解析XML文件，可以使得嵌入式系统具备更强的数据处理能力。 STM32F107是一款高性能、低成本的STM32系列微控制器，具有浮点运算单元（FPU），支持USB OTG和CAN接口，适用于各种工业和消费类...
STM32使用ezxml解析XML文件
11-23
然而，由于资源限制，STM32往往没有内置专门用于XML解析的硬件模块，因此需要软件库来处理XML文件。在这种背景下，ezxml库应运而生。 ezxml库是一个轻量级的C语言XML解析库，设计用于嵌入式环境，包括STM32这类微...
Struts2修改上传文件大小限制方法解析
08-29
要修改Struts2上传文件大小限制，需要在struts.xml文件中添加以下配置： ```xml <constant name="struts.multipart.maxSize" value="20971520" /> <!-- 设置允许最大值 20MB --> <result name="success">/...
youtube-20m的文件
12-03
youtube的20m数据集，用来做推荐系统和推荐系统的优化。
android xml三种解析方式
12-07
实例代码提供了三种xml解析方式
SAXParser-用SAX读取大于100M的xml文件(java)
09-24
压缩包里面有两个文件：SAX.java和SAXparse.java 用来解析大于100M的xml文件，SAX读取xml不同于DOM方式，DOM方式在解析xml前需要全部加载xml文件，当xml文件很大时，就会出现内存不足的问题，而SAX则是逐行读取xml文件，适合读取大的xml文件，例如大于100M甚至大于1G的xml数据库文件。
获取XML文件中内容大小
weixin_30654583的博客
12-15 196
即去掉XML中所有<>及包含的内容 import org.dom4j.Document; import org.dom4j.DocumentException; import org.dom4j.io.SAXReader; public class congTools { static Document doc; static String content;...
目标检测xml文件更改大小
andeyeluguo的博客
04-10 1266
有时候jpg太大会导致检测的时候xunl训练过慢，需要缩小图片 注意：bag.list中./data/name.jpg应该是data/name.jpg 有两个文件夹data和data_resize import cv2 import xml.etree.ElementTree as ET import pdb fid = open('bag.list') lines = fid.readl...
关于大XML文件与大节点处理(System.Xml.XmlTextReader)
baixie3922的博客
07-13 205
近期有个任务要求处理大XML文件，其中有个存了Base64的大节点（>90M，路径已知）。 这种任务只能上XmlReader，即使如此大节点的处理还是头疼了一阵…… 最初查MSDN的时候，找到了ReadChars()，可以拿来对付大节点。 方法说明：https://msdn.microsoft.com/zh-cn/library/system.xml.xmltextreade...
调优系列：高并发环境下，解决xml解析过慢的方法
枫夜
04-07 2376
多线程环境下，启动了线程池，包含30个线程进行数据清洗。其中涉及xml文件的解析。即使机器配置十分不错，但是启动多个线程进行清洗，速度依旧跟不上。本篇博客主要是讲述该情况的原因及解决方法。
XML解析方式和调整jvm大小
白净垃圾桶-
05-14 509
XML编程（CRUD）：在XML文档中增删改查数据。 XML解析方式：dom和sax，都用来解析XML文档。 dom解析：将文档放在内存中变成一个Document对象，将文档中的节点、文本、属性全都变成一个对象。 优点：对文档增删改查（CRUD）容易。 缺点：消耗内存大，所以它解析的XML文档不能太大。 sax解析：从上往下读取xml文档，读取一行处理一行。 优点：内存
java解析大量xml形式的电文花费时间很多(一行一条电文，电文是xml字符串)
qinsihejie的博客
03-04 1161
在对写完后的代码做性能试验时发现解析大量xml字符串花费时间超级多，几万条数据就已经要几十秒 （鬼知道为什么客户的电文是xml字符串），由于我只需要其中几个字段，所以这里用正则去找标签内的值，几万条电文1-2秒结束。 Pattern p1=Pattern.compile("&lt;aaa&gt;(.*?)&lt;/aaa&gt;"); Matcher m1=p1.matcher(message);...
怎么用qt处理大于500m的xml文件
最新发布
04-24
处理大于500M的XML文件可以采用分段读取的方式。先确定每一段读取的大小，例如每次读取10M，然后循环读取每一段，处理完后继续读取下一段，直到处理完整个文件。 在Qt中可以使用QXmlStreamReader或QXmlSimpleReader读取和解析XML文件，同时可以使用QFile或QIODevice打开和读取文件。 以下是示例代码： ```c++ #include <QFile> #include <QXmlStreamReader> void processXmlFile(const QString& fileName, const qint64 chunkSize = 10 * 1024 * 1024) { QFile file(fileName); if (!file.open(QFile::ReadOnly)) { qDebug() << "Failed to open file for reading:" << file.errorString(); return; } qint64 totalSize = file.size(); qint64 readSize = totalSize > chunkSize ? chunkSize : totalSize; QByteArray buffer; QXmlStreamReader reader; while (!file.atEnd()) { buffer = file.read(readSize); reader.addData(buffer); // Process XML data segment while (!reader.atEnd()) { reader.readNext(); // Handle XML data } if (reader.hasError()) { qDebug() << "XML error:" << reader.errorString(); break; } // Move file pointer to next chunk if (file.pos() + readSize > totalSize) { readSize = totalSize - file.pos(); } file.seek(file.pos() + readSize); } file.close(); } ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值