使用HttpComponents(即HttpClient)抓取数据

在平时的项目开发中,我们很多时候会需要别的网站的一些信息,但是对方不太可能专门为我们开发一个专用接口,这时候,我们就需要使用HttpComponents来将对方网站的信息抓取下来,方便我们业务上使用.

那这个HttpComponents是什么呢?HttpComponents是一款用来模拟http请求的工具包,通过它,我们很方便地以http和其他程序通讯,而无需关注底层,如socket的实现.简单说,就是通过HttpComponents,我们可以像一个浏览器一样,向任何我们想访问的资源发出请求.

那么废话少说我们怎么用呢?

一般来说,数据抓取按流程可以切分为如下步骤:创建连接对象–>构造请求数据–>执行请求–>获取返回数据,只要数据抓取回来,你就可以按照指定规则对数据进行处理.

例子代码如下:

@Override
public FetchMessage fetch() {
CloseableHttpClient client = null;
HttpGet httpGet;
HttpResponse response;
HttpEntity entity = null;
String url = “http://www.163.com/“;

try {
            // 创建连接
            client = HttpClients.createDefault();

            // 创建访问方法
            httpGet = new HttpGet();
            httpGet.setURI(new URI(url));
            // 获得响应
            response = client.execute(httpGet);
            entity = response.getEn