java http html5_使用httpclient读取网页html例子，java爬虫就是这样简单

public void clientPost(String url)

{

/* 1 生成 HttpClinet 对象并设置参数*/

HttpClient httpClient=new HttpClient();

//设置浏览器信息

httpClient.getParams().setParameter(HttpMethodParams.USER_AGENT,"Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.1.2) Gecko/20090803 Fedora/3.5.2-2.fc11 Firefox/3.5.2");

//设置 Http 连接超时为5秒

httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(5000);

/*2 生成 GetMethod 对象并设置参数*/

GetMethod getMethod=new GetMethod(url);

//设置 get 请求超时为 5 秒

getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000);

//设置请求重试处理，用的是默认的重试处理：请求三次

getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,

new DefaultHttpMethodRetryHandler());

/*3 执行 HTTP GET 请求*/

try{

int statusCode = httpClient.executeMethod(getMethod);

/*4