网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处

href : “http://news.qq.com/a/20140416/016805.htm”,

title : “澳洲骆驼爱喝冰镇啤酒解暑”

} ];

window.onload = function() {

var infos = document.getElementById(“infos”);

for( var i = 0 ; i < datas.length ; i++)

{

var a = document.createElement(“a”);

a.href = datas[i].href ;

a.innerText = datas[i].title;

infos.appendChild(a);

infos.appendChild(document.createElement(“br”))

}

}

Hello Main HttpUnit!

style=“width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;”>

页面上观察是这样显示的：

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

@Test

public void testUserJsoup() {

try {

Document doc = Jsoup.connect(

“http://localhost:8080/strurts2fileupload/main.html”)

.timeout(5000).get();

Elements links = doc.body().getElementsByTag(“a”);

for (Element link : links) {

System.out.println(link.text() + " " + link.attr(“href”));

}

} catch (IOException e) {

e.printStackTrace();

}

}

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

@Test

public void testUserHttpUnit() throws FailingHttpStatusCodeException,

MalformedURLException, IOException {

/** HtmlUnit请求web页面 */

WebClient wc = new WebClient(BrowserVersion.CHROME);

wc.getOptions().setUseInsecureSSL(true);

wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true

wc.getOptions().setCssEnabled(false); // 禁用css支持

wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常

wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待

wc.getOptions().setDoNotTrackEnabled(false);

HtmlPage page = wc

.getPage(“http://localhost:8080/strurts2fileupload/main.html”);

DomNodeList links = page.getElementsByTagName(“a”);

for (DomElement link : links) {

System.out

.println(link.asText() + " " + link.getAttribute(“href”));

}

}

再看一下运行结果：

面试复习笔记

这份资料我从春招开始，就会将各博客、论坛。网站上等优质的Android开发中高级面试题收集起来，然后全网寻找最优的解答方案。每一道面试题都是百分百的大厂面经真题+最优解答。包知识脉络 + 诸多细节。
节省大家在网上搜索资料的时间来学习，也可以分享给身边好友一起学习。

《960页Android开发笔记》

《1307页Android开发面试宝典》

包含了腾讯、百度、小米、阿里、乐视、美团、58、猎豹、360、新浪、搜狐等一线互联网公司面试被问到的题目。熟悉本文中列出的知识点会大大增加通过前两轮技术面试的几率。

《507页Android开发相关源码解析》

只要是程序员，不管是Java还是Android，如果不去阅读源码，只看API文档，那就只是停留于皮毛，这对我们知识体系的建立和完备以及实战技术的提升都是不利的。

真正最能锻炼能力的便是直接去阅读源码，不仅限于阅读各大系统源码，还包括各种优秀的开源库。

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门，即可获取！
立和完备以及实战技术的提升都是不利的。

真正最能锻炼能力的便是直接去阅读源码，不仅限于阅读各大系统源码，还包括各种优秀的开源库。

[外链图片转存中…(img-zo2JRSO2-1715357701543)]
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门，即可获取！