HtmlUnit爬取动态数据(js相关)

最新推荐文章于 2021-11-30 10:36:00 发布
最新推荐文章于 2021-11-30 10:36:00 发布
阅读量3.7k 收藏 1
点赞数 2
分类专栏： 爬虫技术 文章标签： Jsoup爬取JS值 htmlunit
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qin528032307/article/details/72231468
版权

今天在写一个爬虫的时候遇到了一个问题，就是在使用Jsoup获取html时只能解析静态的页面，只要是页面中与js相关的动态数据都是不能够爬取到的，在网上搜索了些资料后发现能够使用htmlunit来解决这个问题

// 创建模拟浏览器，参数可以指定不同类型的浏览器
WebClient webClient = new WebClient(); 

// 启用JS解释器，默认为true
webClient.getOptions().setJavaScriptEnabled(true); 

// 禁用css支持
webClient.getOptions().setCssEnabled(false</
最低0.47元/天 解锁文章
「已注销」
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
html加载状态,js等待页面加载完成
weixin_36215736的博客
05-31 7671
页面加载完成后等待一段时间在执行js的方法，时间例如方法： function test(){return 1;} 页面加载完毕事件： window.onload = function(){ setTimeout(test,1000);//1000毫秒=1秒后执行test方法 } 如果你使用jquery的话可以： $(window).load(function(){ setTimeout(test,...
htmlunit爬取js异步加载后的页面
彤哥读源码
03-08 8378
讲解如何使用htmlunit爬取js异步加载后的页面
htmlunit爬取动态页面jar包
01-09
一共有21个jar包。亲测可用不冲突！ 上述的jar包支持爬取动静态界面。
HtmlUnit爬取js动态生成的网页
皓月星辰
08-06 1802
private Document doHttp(String url) throws IOException { //构造一个webClient 模拟Chrome 浏览器 WebClient webClient = new WebClient(BrowserVersion.CHROME); //支持JavaScript web...
HtmlUnit2.14使用样例—获取动态网页
laneJJ123的博客
11-30 733
HttpFetcher HtmlUntiHtmlUnit2.14动态网页JS处理后网页 编写不易，转载请注明（http://shihlei.iteye.com/blog/2067707）！ 一 概述 HttpClient适合处理静态资源，网络爬虫等类似应用很大程度需要处理动态网页（内容有js填充，如百度图片，body里基本没有数据，碰到最麻烦的是新浪微博列表页）。将网页下载后，结合JS和Dom模型还原网页，我目前还未攻破，但在下载层还原网页，HtmlUnit是一种解决方案，虽然对JS...
htmlunit爬取数据转储excel
08-29
总结来说，"htmlunit爬取数据转储excel"项目展示了如何利用HTMLUnit抓取网页信息，并通过Java和Apache POI将数据保存到Excel文件中，为数据处理和分析提供了便利。这是一次实用的Web抓取和数据存储实践，对于需要...
htmlunit爬取网页并保存成Excel
07-08
HTMLUnit支持JavaScript，这意味着它可以运行网页中的脚本，这对于那些依赖JavaScript动态加载内容的网站尤其重要。通过调用`executeJavaScript()`方法，可以执行任意的JavaScript代码并获取结果。 4. **数据提取*...
htmlunit爬数据源码
01-19
使用htmlnit爬取网页源码并解析，可动态执行js。参数设置
jsoup个人小案例（有结合htmlunit的）
09-07
2. **JavaScript支持**：HtmlUnit能执行JavaScript代码，这对于那些依赖JavaScript渲染的网页特别有用。 3. **网络模拟**：它可以发送HTTP请求，处理响应，模拟Cookie和其他HTTP头部信息。 4. **页面交互**：点击...
HtmlUnit爬取Ajax动态生成的网页以及自动调用页面javascript函数
05-19 642
HtmlUnit官网的介绍： HtmlUnit是一款基于Java的没有图形界面的浏览器程序。它模仿HTML document并且提供API让开发人员像是在一个正常的浏览器上操作一样，获取网页内容，填充表单，点击超链接等等。 它非常好的支持JavaScript并且仍在不断改进，同时能够解析非常复杂的AJAX库，通过不同的配置来模拟Chrome、Firefox和IE浏览器。 本文针对一...
利用htmlunit和jsoup来实现爬取js的动态网页实践(执行js)
热门推荐
anLA_的专栏
12-06 3万+
这两天在做一个有关于网络爬虫的系统 但是呢，一开始爬的时候就发现问题，js的动态页面的爬不下来 网上找了好多方法，google也问了，主要还是提到htmlunit，于是就用了， 在pairsfish的csdn博客上，我找到了方法： /**HtmlUnit请求web页面*/ WebClient webClient = new WebClient();
htmlunit爬虫案例
suchengbin3433的博客
01-17 913
过去有一段时间了，记录一下曾经参与过的爬虫项目。 一个main方法，开两个线程，一个收集需要执行爬取的任务，一个执行爬取。 //数据采集：判断是否启动采集线程 String isStartDataSpiderTask = SystemProperties.getContextProperty("data.spider.task"); if(isStartDataSpiderTas...
股票爬虫
咸鱼的博客
04-23 2785
股票爬虫（第二篇：代码实现） 文章目录股票爬虫（第二篇：代码实现）前言准备1、新建Maven项目2、需要的依赖、包代码编写1、获取网页返给我们的json2、太乱了，看的眼疼（那就数据清洗一下）3、数据的二次清洗，把数组进行格式化4、完美5、最后转换成csv文件完整代码打开csv文件，数据呈现确认信息含义你把鼠标放到网页图标上，然后再对应json信息即可 前言 ​ 写爬虫程序，大家都知道python，其实还有java可以写爬虫，由于博主是大数据分析专业的，而大数据很多框架都和java有关系，所以本篇的代码实现
爬虫的自我解剖(抓取网页HtmlUnit)
weixin_34417200的博客
02-06 61
  网络爬虫第一个要面临的问题，就是如何抓取网页，抓取其实很容易，没你想的那么复杂，一个开源`HtmlUnit`包，4行代码就OK啦，例子如下： final WebClient webClient=new WebClient(); final HtmlPage page=webClient.getPage("http://www.yanyulin.info"); System.out...
HtmlUnit 网络爬虫 菜鸟的学习笔记（三）
weixin_34123613的博客
09-01 152
2019独角兽企业重金招聘Python工程师标准>>> ...
HtmlUnit爬虫解决url中文
u012645961的专栏
10-31 1821
接触爬虫也有好一段时间了，刚开始用的是htmlunit，后来因为对js的兼容性问题，用过一阵子selenium，觉得selenium还是蛮直观也很顺手，但最近爬个报表爬得好费劲，用selenium折腾好久都没搞出来。实在没辙了，又听从同事建议，改用HtmlUnit试试，没想到还真有新发现，现在记录下，为自己长个记性，也希望能跟有需要的分享下。总体来说，爬虫是个小事，可每次爬总能碰到问题让你觉得不顺
爬虫技术之 htmlunit 使用入门
qq_34661726的博客
06-10 1158
1 htmlunit简介 htmlunit是java实现的开源无界面浏览器，可以有效的加载动态页面。2 htmlunit的获取2.1 maven 构建&lt;dependency&gt; &lt;groupId&gt;net.sourceforge.htmlunit&lt;/groupId&gt; &lt;artifactId&gt;htmlunit&lt;/artifactId&gt; ...
如何使用htmlunit获取动态的html
最新发布
05-27
HtmlUnit是一个Java库，用于模拟浏览器的行为，可以用来获取动态HTML。以下是一段示例代码： ```java import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlPage; public class Test { public static void main(String[] args) throws Exception { // 创建一个WebClient实例 WebClient client = new WebClient(); // 启用JS解释器，默认为false client.getOptions().setJavaScriptEnabled(true); // 禁用Css，可避免自动二次请求CSS进行渲染 client.getOptions().setCssEnabled(false); // 获取网页 HtmlPage page = client.getPage("http://example.com"); // 等待JS执行完成 client.waitForBackgroundJavaScript(1000); // 获取当前页面的动态HTML代码 String html = page.asXml(); // 输出HTML代码 System.out.println(html); // 关闭WebClient实例 client.close(); } } ``` 在这个示例代码中，我们首先创建了一个WebClient实例，启用了JavaScript解释器，并禁用了CSS。接下来，使用`client.getPage()`方法获取指定网页的HTML代码，并将其赋值给名为`page`的变量。然后，使用`client.waitForBackgroundJavaScript()`方法等待页面上的所有JavaScript执行完成。最后，使用`page.asXml()`方法获取当前页面的动态HTML代码，并将其赋值给名为`html`的变量。最后，我们输出了HTML代码并关闭了WebClient实例。 需要注意的是，获取动态HTML可能需要一些时间，因此我们使用`client.waitForBackgroundJavaScript()`方法等待页面上的所有JavaScript执行完成。在某些情况下，您可能需要增加等待的时间，以确保所有JavaScript都执行完成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值