使用HtmlUnit执行JavaScript中方法获取数据

最新推荐文章于 2021-06-09 16:52:37 发布

weixin_34356310

最新推荐文章于 2021-06-09 16:52:37 发布

阅读量1.5k

点赞数

文章标签： javascript python java ViewUI

原文链接：https://my.oschina.net/u/1991646/blog/694993

版权

2019独角兽企业重金招聘Python工程师标准>>>

HtmlUnit是Java一个无界面浏览器，既然是浏览器，对于我们爬取网页数据来说就很喜欢啦。由于HttpClient无法对JavaScript进行处理，而现在很多网页又大量使用了JavaScript和JQuery，对于需要执行JS方法爬取的来说，这个框架就至关重要。

下面为请求执行一个js方法，废话不多说，上代码：

        final WebClient webClient=new WebClient();
		webClient.getOptions().setCssEnabled(false);
		HtmlPage page=webClient.getPage("目标地址");
		String hrefValue = "js方法";
		ScriptResult s = page.executeJavaScript(hrefValue);//执行js方法
		page = (HtmlPage) s.getNewPage();//获得执行后的新page对象
		System.out.println(page.asXml());
		webClient.close();

执行后即可获得你想要的东西，是不是so easy，哪里不会点哪里~

纯手打，欢迎各位童鞋拍砖。

转载请指明出处：http://my.oschina.net/u/1991646/blog/694993

转载于:https://my.oschina.net/u/1991646/blog/694993