htmlunit默认是会对网页中的css,javascript解析的,对于一般的非Js加载页面采集,我们可以把css.javascript解析去掉,这样可以提高效率;但是对于Js加载的页面,就不能去掉了
package com.gcx.htmlunit;
import java.io.IOException;
import java.net.MalformedURLException;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
public class cancel {
public static void main(String[] args) {
WebClient webClient=new WebClient(BrowserVersion.FIREFOX_52); // 实例化Web客户端
webClient.getOptions().setCssEnabled(false);// 取消css支持
webClient.getOptions().setJavaScriptEnabled(false); // 取消javascript支持
try {
HtmlPage page=webClient.getPage("http://www.bjsxt.com"); // 解析获取页面
System.out.println("网页html:"+page.asXml()); // 获取Html
System.out.println("====================");
System.out.println("网页文本:"+page.asText()); // 获取文本
} catch (FailingHttpStatusCodeException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}finally{
webClient.close(); // 关闭客户端,释放内存
}
}
}
打印结果发现速度提升了
尚学堂成为教育部2017年第一批协同育人合作单位
?
免费视频教程
每周8-20家企业上门招聘
就业薪资全部公开
全部开班日期一览表
7*24小时免费咨询
关于我们
学堂介绍 加入学堂 公司大事 学堂优势
旗下品牌
中科云数 速学堂
校区攻略
校园环境 住宿攻略 来校路线
学习资源
视频库 公开课 腾讯课堂 优酷学堂
学堂故事
教师直播间 就业喜报 学堂文库
尚学堂微博
尚学堂订阅号
尚学堂服务号
友情链接
java培训 android培训 iOS培训 大数据培训 Web前端培训 UI培训 VR/AR培训 互联网架构培训 php培训 产品经理培训 懒人图库 求职网 易百教程 优胜教育 查字典学校网 腾讯云 阿里云 19楼 一站阅读 酷素材 教育培训网 软件开发 在线学习平台 天互数据 科技新闻资讯 中国投资研究网 数据恢复 南阳电脑网 W3Cshare 深圳教育 软件产品网 CCNA 深圳网 网站模板 大数据 excel教程 湖南人事考试网 南京厚学网 百度传课 国际夏令营
北京海淀区校区(总部)
地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座尚学堂
咨询电话:400-009-1906 / 010-56233821
北京京南校区
地址:北京亦庄经济开发区科创十四街6号院1号楼 赛蒂国际工业园
咨询电话:400-009-1906 / 010-56233821
北京昌平区校区
北京市昌平区北七家镇东三旗(亚市)汽车交易市场尚学堂二层
咨询电话:400-009-1906 / 010-56233821
上海学院地址
地址:上海市松江区荣乐东路2369弄45号绿地伯顿大厦2层
咨询电话:021-67690939
郑州学院地址
地址:金水区东风路经三路北100米注协大厦10楼
咨询电话:0371-55177956
四川学院地址
地址:成都市高新区锦晖西一街99号布鲁明顿大厦2栋1003室
咨询电话:028-65176856/13880900114
长沙学院地址
地址:长沙市岳麓区麓源路湖南电子商务基地5楼(公交车站:六沟垅)
咨询电话:0731-83072091
广州学院地址
地址:广州市天河区元岗横路31号慧通产业广场B区B1栋6楼尚学堂
咨询电话:020-29896995 / 13533114796
太原学院地址
地址:山西省晋中市榆次区大学城大学生活广场万科商业A1座702
咨询电话:0354-3052381 / 18903441162
武汉学院地址
地址:湖北省武汉市江夏区江夏大道26号 宏信悦谷创业园4楼
咨询电话:027-87989193
呼和浩特学院地址
内蒙古呼和浩特市赛罕区鄂尔多斯大街学府花园文体馆
咨询电话:400-009-1906
济南学院地址
济南市长清区数娱广场C座1304室
咨询电话:0531-83136618
深圳学院地址
深圳市宝安区航城街道航城大道航城创新创业园A4栋210(固戍地铁站C出口)
咨询电话:18898413781
Java培训 - Android培训 - ios培训 - hadoop培训 - 专业IT培训机构
Copyright 2006-2017 北京尚学堂科技有限公司 京ICP备13018289号-19 京公网安备11010802015183
媒体联系:18610174079 闫老师