使用HttpClient与Jsoup实现Java爬虫简单入门

HttpClient下载地址：http://hc.apache.org/downloads.cgi

Jsoup下载地址：https://jsoup.org/download

本次使用的是httpclient（4.5.6版）Jsoup（1.11.3版），适合初学者入门与了解Java爬虫，本次爬取豆瓣《纸牌屋》第一季讨论区链接地址与主题。

import java.io.IOException;

import org.apache.http.HttpEntity;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.protocol.HttpClientContext;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Test {
	public static void main(String[] args) throws IOException {
		//纸牌屋第一季讨论
		String url ="https://movie.douban.com/subject/6037429/";
		// 创建httpclient对象
		CloseableHttpClient httpclient = HttpClients.createDefault();
		//设置超时时间
		RequestConfig requestConfig = RequestConfig.custom()
				.setSocketTimeout(10000)
				.setConnectTimeout(10000)
				.build();
		// 创建get对象
		HttpGet get = new HttpGet(url);
		get.setConfig(requestConfig);
		// 创建context对象
		HttpClientContext context = HttpClientContext.create();
		// 创建response对象
		CloseableHttpResponse response = httpclient.execute(get, context);
		//获取网页源码
		if(response.getStatusLine().getStatusCode()==200) {
			//获取实体对象
			HttpEntity entity = response.getEntity();
			String res = EntityUtils.toString(entity, "utf-8");
			//使用Jsoup解析网页
			Document doc = Jsoup.parse(res);
			Elements elements = doc.select(".title");
			if(!elements.isEmpty()) {
				//输出
				for (Element element : elements) {
					String temp =element.child(0).attr("href")+"\t"+element.text();
					System.out.println(temp);
				}				
			}
			else {
				System.out.println("《《《《《《《《 *** failed *** 》》》》》》》》");
			}
			
		}else {
			System.out.println("服务器连接失败");
		}
		response.close();
		httpclient.close();
	}
}

分析：HttpClient负责将网页回复的数据生成entity实体对象；Jsoup负责将entity实体对象解析，这里解析可以使用Jquery和Css的选择器。

此处分析网页源码发现每个评论属于title类，所以Jsoup直接选取".title"进行元素选择，最终输出为：