目录
示例功能:
htmlunit模拟对网站的连续操作,进入网站首页,寻找固定二级或者多级菜单(链接)点击,作为一个入门教程提供参考。
1.使用htmlunit请求某个网站首页;
初始化请求WebClient对象,然后使用getPage请求某个网址;
//HtmlUnit模拟浏览器
WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setJavaScriptEnabled(true);//启用JS解释器,默认为true
webClient.getOptions().setCssEnabled(false);//禁用css支持
webClient.getOptions().setThrowExceptionOnScriptError(false);//js运行错误时,是否抛出异常
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setTimeout(10 * 1000);//设置连接超时时间
//读取首页
HtmlPage index = webClient.getPage("某个网址的首页");
2.在首页找到某个链接的DOM;
需要在首页里找到的DOM对象为为:
<a href="/download_test.html" class="downloadStyle">点击下载</a>
List<HtmlAnchor> ao = index.getByXPath("//a");
HtmlAnchor which = null;
for(HtmlAnchor h :ao) {
String href = h.getAttribute("href").toString();
if(href.equals("/download_test.html")) {
// System.out.println(href);
which = h;
break;
}
}
3.点击它,获取新的响应页面;
定位到需要再次触发操作的DOM(这里就是这个a标签)后,利用htmlunit触发点击事件;
//点击下载按钮
HtmlPage index2 = which.click();
//针对点击后的反馈页面,可以继续进行获取分析,类似首页的操作
//...