HtmlUnit内存溢出解决办法

最新推荐文章于 2022-05-23 17:52:24 发布
最新推荐文章于 2022-05-23 17:52:24 发布
阅读量2.7k 收藏 2
点赞数 1
分类专栏： java 文章标签： 爬虫 htmlunit 永久区内存溢出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tb_520/article/details/79398689
版权
本文介绍了在使用HtmlUnit时遇到的 PermGen 空间内存溢出问题及其解决方法，包括页面处理后的调用、增加JVM内存、停止JavaScript后台作业、主动垃圾回收以及将WebClient设置为单例模式等策略。
摘要由CSDN通过智能技术生成

错误如下：

java.lang.OutOfMemoryError: PermGen space

at sun.misc.Unsafe.defineClass(Native Method) ~[na:1.7.0_80]
at sun.reflect.ClassDefiner.defineClass(ClassDefiner.java:63) ~[na:1.7.0_80]
at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:399) ~[na:1.7.0_80]
at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:396) ~[na:1.7.0_80]
at java.security.AccessController.doPrivileged(Native Method) ~[na:1.7.0_80]
at sun.reflect.MethodAccessorGenerator.generate(MethodAccessorGenerator.java:395) ~[na:1.7.0_80]
at sun.reflect.MethodAccessorGenerator.generateConstructor(MethodAccessorGenerator.java:94) ~[na:1.7.0_80]
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:48) ~[na:1.7.0_80]
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) ~[na:1.7.0_80]
at java.lang.reflect.Constructor.newInstance(Constructor.java:526) ~[na:1.7.0_80]
at java.lang.Class.newInstance(Class.java:383) ~[na:1.7.0_80]
at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.init(JavaScriptEngine.java:259) ~[htmlunit-2.23.jar:2.23]
at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.acces
最低0.47元/天 解锁文章
tb_520
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
htmlunit扒取JS加载之后的网页源码（1）
weixin_39389850的博客
12-26 3667
HTMLUnit其实就是一个用JAVA实现的无窗口的浏览器，可以很好的分析页面上的DOM元素，可以模拟浏览器的所有行为。多用于自动化测试。 HTMLUnit需要很多的jar包支持。所以推荐maven项目布置。 下面介绍简单的用法： final WebClient webClient=new WebClient(BrowserVersion.CHROME); String url2 =...
JavaScript 中 xml 的解析（jsoup 解析器）
ONESTARの博客
08-28 1775
目录 一、概述 二、dom 和 sax 解析对比 三、解析器 四、Jsoup解析器 1、导入 jar 包 2、获取 Document 对象 3、获取对应的标签 Element 对象 4、获取数据 5、快捷查询 一、概述 xml 的解析就是操作 xml 文档，将文档内容读取到内存中，解析的方法两种 dom：将标记语言文档一次性加载到内存，在内存中形成一颗 dom 树 sa...
htmlunit java heap space,htmlunit解决内存不断增加，内存溢出问题
weixin_35011300的博客
03-12 291
参考老外两篇文章：解决核心：webClient.getCurrentWindow().getJobManager().removeAllJobs();webClient.close();System.gc();内存较为稳定代码：import java.io.IOException;import java.net.MalformedURLException;import com.gargoyleso...
java 爬取页面数据信息
weixin_45956838的博客
05-23 1692
使用 htmlunit 来获取页面数据 在 pom.xml 中添加依赖 <dependencies> <dependency> <groupId>net.sourceforge.htmlunit</groupId> <artifactId>htmlunit</artifactId> <version>2.44.0</version> </dependency> &l
htmlunit基本jar包
01-08
总的来说，"htmlunit基本jar包"是一个独立的、完整的解决方案，为开发者提供了在Java环境中进行Web页面自动化测试和交互的能力。通过理解每个JAR文件的作用，我们可以更有效地利用这个工具，提高开发和测试的效率。
htmlunit.zip
06-29
htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器，运行速度迅速。使用htmlunit开发，...
htmlunit 及其 依赖包
05-16
在Java开发中，HTMLUnit是一个非常实用的工具，尤其是对于那些需要快速、无声地测试网页应用程序或者抓取动态生成内容的场景。 HTMLUnit的使用通常涉及到以下几个核心知识点： 1. **无头浏览器**：HTMLUnit是一个...
htmlunit-2.20.zip
06-11
HTMLUnit是一个强大的Java库，它...虽然它不包含最新的特性，但由于与Java 7的兼容性，对于一些项目来说仍然是一个可靠的解决方案。使用HTMLUnit 2.20版本时，确保你的开发环境是基于JDK 1.7，以避免潜在的兼容性问题。
htmlunit包
05-17
HTMLUnit是一个Java库，它为Web测试和自动化提供了一个无头浏览器模拟器。...下面将详细介绍HTMLUnit的核心特性、使用场景以及如何...在这些情况下，可能需要考虑使用更强大的无头浏览器解决方案，如Selenium WebDriver。
jsoup.parse 的一个坑
weixin_30443075的博客
12-13 1805
那天，写好一个爬虫 爬取某个网站的数据。 当时调用了公司不知道某个人写的 一个方法 logger.info(joururl); doc= util.getDocument(joururl.toString()); //这里通过url 去得到 网页 本地调试 通过以后 就放到服务器上跑了。 跑着跑着就卡住。 也不报错。 也不停。 当时 以为是内存满...
htmlunit java heap space,java - 使用htmlunit访问html表 - 堆栈内存溢出
weixin_31889665的博客
03-12 199
我想访问html文件中包含的表。 这是我的代码：import java.io.*;import com.gargoylesoftware.htmlunit.html.HtmlPage;import com.gargoylesoftware.htmlunit.html.HtmlTable;import com.gargoylesoftware.htmlunit.html.*;import com....
idea热部署内存溢出：java.lang.OutOfMemoryError: PermGen space
maoyuanming0806的博客
10-03 6147
Intellij IDEA一个贼优秀智能的IDE，自从eclipse转idea，就不想再使用eclipse了，不是一般的智能，其中一个特点就是它的热部署，修改了后台代码后可以热部署，不需要重新启动服务器。但是此前使用时多次热部署之后总是会报内存溢出的错误：java.lang.OutOfMemoryError: PermGen space 错误如图： 有时候甚至系统报错：（运气好
JS渲染引擎比较HtmlUnit/Selenium/PhantomJs
菜的抠脚弟弟的专栏
07-08 4612
JS渲染引擎比较HtmlUnit/Selenium/PhantomJs现如今的爬虫再也不是简单的爬取静态页面，解析Html文本这么简单，许多单页面应用，异步请求调用，页面初始化js渲染等技术的使用，使得传统的通过发起http请求获得的Document无法直接使用。因此，基于实际业务需求，在爬取某电商平台数据时，发现其页面特定位置为js渲染，固此，由此一文，基于实际代码测试，分析HtmlUnit/Se
html生成pdf内存溢出,多个html生成pdf的一些心得
weixin_39631767的博客
06-04 637
有个需求是通过pdf生成html。研究了下打算使用itext。然后就去官网上看了下，itext已经有itext7了，然后还不太完善。后面还是用了itext5。导入了以下的maven包：com.itextpdfitextpdfcom.itextpdf.toolxmlworkerorg.jsoupjsoupxmlworker是itext解析html的工具就不用说了，jsoup可以将html格式化成标准...
关于htmlunit运行时报各种错的坑
nercon233的专栏
01-21 7228
因为项目需要，采用htmlunit爬取带ajax和其他js执行结果的页面，开发环境jdk1.7 和maven 网上很多资料上使用的htmlunit版本的示例使用了之后，老是报错，根本原因就是htmlunit的版本问题或者jar包缺失问题。经过一天多的折腾，终于有一个可以用的示例了。最新的htmlunit不兼容jdk1.7所以使用低版本2.18版的htmlunit 先记录如下： maven依赖...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值