Java爬虫入门简介（二） —— HttpClient详细使用方法

在上篇博客里面，我们讲述了如何使用HttpClient请求一个简单的网页。但是，在实际中，有很多网页的请求需要附带许多参数设置。主要包括请求的Header设置以及路径参数。在HttpClient 4.3及以上的版本中，这个过程主要包含如下步骤：

1. 使用List<NameValuePair>添加路径参数（请求参数）
2. 使用URI对请求路径及其参数进行设置
3. 使用List<Header>设置请求的头部
4. 初始化自定义的HttpClient客户端，并设置头部
5. 使用HttpUriRequest设置请求
6. 使用HttpClient请求上述步骤中的HttpUriRequest对象

我们看一个代码示例

1. import com.google.common.collect.Lists;
2. import org.apache.http.Header;
3. import org.apache.http.HttpHeaders;
4. import org.apache.http.HttpResponse;
5. import org.apache.http.NameValuePair;
6. import org.apache.http.client.HttpClient;
7. import org.apache.http.client.methods.HttpUriRequest;
8. import org.apache.http.client.methods.RequestBuilder;
9. import org.apache.http.client.utils.URIBuilder;
10. import org.apache.http.impl.client.HttpClients;
11. import org.apache.http.message.BasicHeader;
12. import org.apache.http.message.BasicNameValuePair;
14. import java.io.IOException;
15. import java.net.URI;
16. import java.net.URISyntaxException;
17. import java.util.List;
19. /************
20. * HttpClient 使用示例
21. * ***********/
23. public class HttpClientTest {
25. public static void main(String[] args) throws URISyntaxException, IOException {
27. String url = ""; //请求路径
29. //构造路径参数
30. List<NameValuePair> nameValuePairList = Lists.newArrayList();
31. nameValuePairList.add(new BasicNameValuePair("username","test"));
32. nameValuePairList.add(new BasicNameValuePair("password","password"));
34. //构造请求路径，并添加参数
35. URI uri = new URIBuilder(url).addParameters(nameValuePairList).build();
37. //构造Headers
38. List<Header> headerList = Lists.newArrayList();
39. headerList.add(new BasicHeader(HttpHeaders.ACCEPT_ENCODING,"gzip, deflate"));
40. headerList.add(new BasicHeader(HttpHeaders.CONNECTION, "keep-alive"));
42. //构造HttpClient
43. HttpClient httpClient = HttpClients.custom().setDefaultHeaders(headerList).build();
45. //构造HttpGet请求
46. HttpUriRequest httpUriRequest = RequestBuilder.get().setUri(uri).build();
48. //获取结果
49. HttpResponse httpResponse = httpClient.execute(httpUriRequest);
51. //获取返回结果中的实体
52. HttpEntity entity = httpResponse.getEntity();
54. //查看页面内容结果
55. String rawHTMLContent = EntityUtils.toString(entity);
57. System.out.println(rawHTMLContent);
59. //关闭HttpEntity流
60. EntityUtils.consume(entity);
62. }
64. }