前面我们的测试代码是直接请求的,有些网站服务器防火墙会直接拒绝访问。
我们现在用htmlunit来模拟下浏览器请求;主要是加了一些头消息;
这个是我们用谷歌调试工具看到的请求头小心里的属性,当然上面还有返回的头消息;
我们用htmlunit可以模拟浏览器执行,内置的可以模拟IE,火狐,谷歌;
WebClient构造方法里有个重载方法,可以加一个指定版本属性;
完整代码:
package com.hbk.htmlunit;
import java.io.IOException;
import java.net.MalformedURLException;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
/**
*
* @author 黄宝康
*获取http://www.3dns.com.cn的源代码
*/
public class HtmlUnitTest
{
public static void main( String[] args )
{
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45); // 实例化Web客户端
try {
HtmlPage page = webClient.getPage("http://www.3dns.com.cn/");
System.out.println("网页html:"+page.asXml());// 获取html
System.out.println("======================");
System.out.println("网页文本:"+page.asText());// 获取文本
} catch (FailingHttpStatusCodeException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}finally{
webClient.close(); // 关闭客户端,释放内存
}
}
}
运行效果一样。