HttpClient 基本功能的使用
from: http://askcuix.javaeye.com/blog/206492
一、GET 方法
使用 HttpClient 需要以下 6 个步骤:
1. 创建 HttpClient 的实例
2. 创建某种连接方法的实例,在这里是 GetMethod。在 GetMethod 的构造函数中传入待连接的地址
3. 调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例
4. 读 response
5. 释放连接。无论执行方法是否成功,都必须释放连接
6. 对得到后的内容进行处理
根据以上步骤,我们来编写用GET方法取得某网页内容的代码。
1、大部分情况下 HttpClient 默认的构造函数已经足够使用。
2、创建GET方法的实例。
在GET方法的构造函数中传入待连接的地址即可。用GetMethod将会自动处理转发过程,如果想要把自动处理转发过程去掉的话,可以调用方法setFollowRedirects(false)。
3、调用 httpClient 的 executeMethod 方法来执行 getMethod。
由于是执行在网络上的程序,在运行executeMethod方法的时候,需要处理两个异常,分别是HttpException和 IOException。引起第一种异常的原因主要可能是在构造getMethod的时候传入的协议不对,比如将"http"写成了"htp",或者服务 器端返回的内容不正常等,并且该异常发生是不可恢复的;第二种异常一般是由于网络原因引起的异常,对于这种异常 (IOException),HttpClient 会根据你指定的恢复策略自动试着重新执行executeMethod方法。HttpClient 的恢复 策略可以自定义(通过实现接口HttpMethodRetryHandler来实现)。通过httpClient 的方法setParameter设置你实 现的恢复策略,本例中使用的是系统提供的默认恢复策略,该策略在碰到第二类异常的时候将自动重试3次。executeMethod返回值是一个整数,表示 了执行该方法后服务器返回的状态码,该状态码能表示出该方法执行是否成功、需要认证或者页面发生了跳转(默认状态下GetMethod的实例是自动处理跳 转的)等。
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler());
// 执行getMethod
int statusCode = client.executeMethod(getMethod);
if (statusCode != HttpStatus.SC_OK) {
System.err.println( " Method failed: " + getMethod.getStatusLine());
}
4、在返回的状态码正确后,即可取得内容。
取得目标地址的内容有三种方法:
Ⅰ、getResponseBody,该方法返回的是目标的二进制的byte流;
Ⅱ、getResponseBodyAsString,这个方法返回的是String类型,值得注意的是该方法返回的String的编码是根据系统默认的编码方式,所以返回的String值可能编码类型有误;
Ⅲ、getResponseBodyAsStream,这个方法对于目标地址中有大量数据需要传输是最佳的。
在这里我们使用了最简单的 getResponseBody方法。
5、释放连接。
无论执行方法是否成功,都必须释放连接。
6、处理内容。
在这一步中根据你的需要处理内容,本例中只是简单的将内容打印到控制台。
下面是程序的完整代码:
2 import java.io.IOException;
3 import org.apache.commons.httpclient . * ;
4 import org.apache.commons.httpclient .methods.GetMethod;
5 import org.apache.commons.httpclient .params.HttpMethodParams;
6 public class GetSample{
7 public static void main(String[] args) {
8 // 构造HttpClient 的实例
9 HttpClient httpClient = new HttpClient ();
10 // 创建GET方法的实例
11 GetMethod getMethod = new GetMethod( " http://www.ibm.com " );
12 // 使用系统提供的默认的恢复策略
13 getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
14 new DefaultHttpMethodRetryHandler());
15 try {
16 // 执行getMethod
17 int statusCode = httpClient .executeMethod(getMethod);
18 if (statusCode != HttpStatus.SC_OK) {
19 System.err.println( " Method failed: "
20 + getMethod.getStatusLine());
21 }
22 // 读取内容
23 byte [] responseBody = getMethod.getResponseBody();
24 // 处理内容
25 System.out.println( new String(responseBody));
26 } catch (HttpException e) {
27 // 发生致命的异常,可能是协议不对或者返回的内容有问题
28 System.out.println( " Please check your provided http address! " );
29 e.printStackTrace();
30 } catch (IOException e) {
31 // 发生网络异常
32 e.printStackTrace();
33 } finally {
34 // 释放连接
35 getMethod.releaseConnection();
36 }
37 }
38 }
二、POST 方法
POST 方法用来向目的服务器发出请求,要求它接受被附在请求后的实体,并把它当作请求队列(Request-Line)中请求URI所指定资源的附加新子项。
调用 HttpClient 中的 PostMethod 与 GetMethod 类似,除了设置 PostMethod 的实例与 GetMethod 有些不同之外,剩下的步骤都差不多。在下面的例子中,省去了与GetMethod相同的步骤,只说明与上面不同的地方。
构造 PostMethod 之前的步骤都相同,与 GetMethod 一样,构造 PostMethod 也需要一个URI参数,在创建了PostMethod的实例之后,需要给method实例填充表单的值,一般的登录表单中需要有两个域,第一个是用户名, 第二个是密码。表单中的域用类 NameValuePair 来表示,该类的构造函数第一个参数是表单域名名称,第二参数是该域的值;将表单所有的值设置到 PostMethod 中用方法 setRequestBody。如果登录成功后会转向另外一个页面,HttpClient 对于要求接受后继服务的请求,比如POST 和PUT,不支持自动 转发,因此需要自己对页面转向做处理。
代码如下:
1 String url = " http://www.test.com/login.jsp " ;
2 PostMethod postMethod = new PostMethod(url);
3 // 填入各个表单域的值
4 NameValuePair[] data = { new NameValuePair( " id " , " youUserName " ),
5 new NameValuePair( " passwd " , " yourPwd " ) };
6 // 将表单的值放入postMethod中
7 postMethod.setRequestBody(data);
8 // 执行postMethod
9 int statusCode = httpClient .executeMethod(postMethod);
10 // HttpClient 对于要求接受后继服务的请求,象POST 和PUT等不能自动处理转发
11 // 301或者302
12 if (statusCode == HttpStatus.SC_MOVED_PERMANENTLY ||
13 statusCode == HttpStatus.SC_MOVED_TEMPORARILY) {
14 // 从头中取出转向的地址
15 Header locationHeader = postMethod.getResponseHeader( " location " );
16 String location = null ;
17 if (locationHeader != null ) {
18 location = locationHeader.getValue();
19 System.out.println( " The page was redirected to: " + location);
20 } else {
21 System.err.println( " Location field value is null. " );
22 }
23 return ;
24 }
from: http://blog.csdn.net/fancyerII/archive/2009/08/20/4467526.aspx
最近碰到一个网站,是使用cookie来传递参数的。
需要访问两次以上才能取得需要的数据。第一次访问获得cookie,第二次获得数据。
用httpanalyzer发现浏览器的行为和httpclient的不一样
浏览器第一次访问时服务器会返回两个set-cookie值,第二次浏览器把这两个cookie拼成一个发给服务器
而使用httpclient的如下代码却不行
hc.getParams().setCookiePolicy(CookiePolicy.BROWSER_COMPATIBILITY);
CookiePolicy.BROWSER_COMPATIBILITY换成别的常量也不行。好像是cookie有很多标准,比如rfc,比如Netscape...
默认的httpclient把两个set-cookie值作为两个cookie发给服务器,结果没有数据
Cookie xxx=yyy; id=**** 这是浏览器发送的cookie
Cookie xxx=yyy
Cookie id=**** 这两个是httpclient发的cookie
所以只好自己写个方法
//第一次get方法获得cookie
hc.executeMethod(get);
//设置cookie
Cookie [] cookies = hc.getState().getCookies();
if(cookies !=null && cookies.length>0){
String cook=cookies[0].getValue();
for (int i = 1; i < cookies.length; i++) {
cook += "; " + cookies[i].getName() + "=" + cookies[i].getValue();
}
cookies[0].setValue(cook);
HttpState state = new HttpState();
state.addCookie(cookies[0]);
hc.setState(state);
}
//第二次post方法取得数据
hc.executeMethod(post);