package org.apache.http.examples.client;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
/**
* This example demonstrates how to abort an HTTP method before its normal completion.
*/
public class ClientAbortMethod {
public final static void main(String[] args) throws Exception {
CloseableHttpClient httpclient = HttpClients.createDefault();
try {
HttpGet httpget = new HttpGet("http://httpbin.org/get");
System.out.println("Executing request " + httpget.getURI());
CloseableHttpResponse response = httpclient.execute(httpget);
try {
System.out.println("----------------------------------------");
httpget.abort();
} finally {
response.close();
}
} finally {
httpclient.close();
}
}
HttpClient httpclient=new HttpClient();
全面剖析网络爬虫
GetMethod getMethod=new GetMethod("http://www.blablabla.com");
int statusCode=httpclient.executeMethod(getMethod);
System.out.println("response=" + getMethod.getResponseBodyAsString());
getMethod.releaseConnection();
上面的示例代码是使用 HttpClient 进行请求与响应的例子。第一行表示创建一个客户
端,相当于打开浏览器。第二行使用 get 方式对 http://www.blablabla.com 进行请求。第三行
执行请求,获取响应状态。第四行的 getMethod.getResponseBodyAsString()方法能够以字符
串方式获取返回的内容。这也是网页抓取所需要的内容。在这个示例中,只是简单地把返
回的内容打印出来,而在实际项目中,通常需要把返回的内容写入本地文件并保存。最后
还要关闭网络连接,以免造成资源消耗。
这个例子是用 get 方式来访问 Web 资源。通常,get 请求方式把需要传递给服务器的参
数作为 URL 的一部分传递给服务器。但是,HTTP 协议本身对 URL 字符串长度有所限制。
因此不能传递过多的参数给服务器。为了避免这种问题,通常情况下,采用 post 方法进行
HTTP 请求,HttpClient 包对 post 方法也有很好的支持