我使用Java的HtmlUnit库以编程方式操作网站。我无法找到我的问题的工作解决方案:如何确定所有的AJAX调用完成并返回一个完全加载的网页?这是我曾尝试:htmlunit:返回一个完全加载的页面
首先,我创建WebClient实例,并调用我的方法processWebPage(String url, WebClient webClient)
WebClient webClient = null;
try {
webClient = new WebClient(BrowserVersion.FIREFOX_3_6);
webClient.setThrowExceptionOnScriptError(false);
webClient.setThrowExceptionOnFailingStatusCode(false);
webClient.setJavaScriptEnabled(true);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
} catch (Exception e) {
System.out.println("Error");
}
HtmlPage currentPage = processWebPage("http://www.example.com", webClient);
这里是我的方法,应该返回一个完全加载的网页:
private static HtmlPage processWebPage(String url, WebClient webClient) {
HtmlPage page = null;
try {
page = webClient.getPage(url);
} catch (Exception e) {
System.out.println("Get page error");
}
int z = webClient.waitForBackgroundJavaScript(1000);
int counter = 1000;
while (z > 0) {
counter += 1000;
z = webClient.waitForBackgroundJavaScript(counter);
if (z == 0) {
break;
}
synchronized (page) {
System.out.println("wait");
try {
page.wait(500);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
System.out.println(page.asXml());
return page;
}
如果没有JavaScript需要加载,z变量应该返回0。
有什么想法?提前致谢。
编辑:我发现我的问题部分工作的解决方案,但在这种情况下,我应该知道如何响应页面看起来。例如,如果一个完全加载的页面包含文本“完整的”,我的解决办法是:
HtmlPage page = null;
int PAGE_RETRY = 10;
try {
page = webClient.getPage("http://www.example.com");
} catch (Exception e) {
e.printStackTrace();
}
for (int i = 0; !page.asXml().contains("complete") && i < PAGE_RETRY; i++) {
try {
Thread.sleep(1000 * (i + 1));
page = webClient.getPage("http://www.example.com");
} catch (Exception e) {
e.printStackTrace();
}
}
但是这将是,如果我不知道一个完全加载的页面看起来像解决?
2013-06-06
justasd