关于htmlunit运行时报各种错的坑

最新推荐文章于 2024-05-17 09:50:02 发布

大虾哥哥

最新推荐文章于 2024-05-17 09:50:02 发布

阅读量7.1k

点赞数 1

分类专栏： java基础爬虫文章标签： htmlunit 爬虫htmlunit java爬虫执行javascript 爬虫ajax

本文链接：https://blog.csdn.net/nercon233/article/details/86581123

版权

因为项目需要，采用htmlunit爬取带ajax和其他js执行结果的页面，开发环境jdk1.7 和maven

网上很多资料上使用的htmlunit版本的示例使用了之后，老是报错，根本原因就是htmlunit的版本问题或者jar包缺失问题。经过一天多的折腾，终于有一个可以用的示例了。最新的htmlunit不兼容jdk1.7所以使用低版本2.18版的htmlunit

先记录如下：

maven依赖

<!-- 可以模拟浏览器执行js脚本的爬虫框架htmlunit，用于爬取带js执行结果的页面 jdk7只支持2.18版本 -->

<dependency>
   <groupId>net.sourceforge.htmlunit</groupId>
   <artifactId>htmlunit</artifactId>
   <version>2.18</version>
</dependency>

<!--解决htmlunit执行报异常java.lang.NoClassDefFoundError: org/w3c/dom/ElementTraversal 的问题-->

<dependency>
   <groupId>xml-apis</groupId>
   <artifactId>xml-apis</artifactId>
   <version>1.4.01</version&g

关注