java网络爬虫1---使用HttpClient下载网页

首先需要下载好HttpClient,直接百度搜，很容易下载的，也可以从 http://hc.apache.org/downloads.cgi  网站下载

在此我使用的是4.3的版本。HttpClient的javaDoc API说明文档可以在httpcomponents-core-4.3-bin.zip中找到

使用HttpClient获取网页内容的过程是：首先创建一个CloseableHttpClient类的实例，然后使用这个实例执行http请求，得到一个HttpResponse的实例，最后通过HttpResponse的实例得到返回的二进制流，二进制流封装在HttpEntity中，根据指定的字符集把二进制流转换成字符串，完成下载。

在学习这个过程中，出现了很多错误，查阅了很多资料，但是始终发现不了错误，最后才发现，不是代码错了，而是在程序中有很多import，有些import错了，所以在出现错误时注意看看有没有import的错误

下面是代码，以山东大学的主页为例：

package java爬虫;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.omg.CORBA.portable.InputStream;

public class first {

	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		//创建一个客户端。类似于打开一个浏览器
		CloseableHttpClient httpclient=HttpClientBuilder.create().build();
		//创建一个get方法，类似于在浏览器地址栏中输入一个地址
		HttpGet httpget=new HttpGet("http://www.sdu.edu.cn/");
		//类似于在浏览器中输入回车，获得网页内容
		HttpResponse response=httpclient.execute(httpget);
		//查看返回的内容。类似于在浏览器中查看网页源代码
		HttpEntity entity=response.getEntity();
		//如果返回的内容不是空的话
		if(entity!=null) {
			//读入内容流。并以字符串的形式返回，在这里指定网页的编码是gbk
			String content=EntityUtils.toString(entity,"gbk");
			//输出内容
			System.out.println(content);
			//关闭内容流
			EntityUtils.consume(entity);
		}
		//释放连接
		httpclient.close();
	}

}