java做爬虫发送http请求方法概述，利用maven项目管理工具实现

爬虫又称网络蜘蛛（spider），其实说白了，就是利用程序从互联网上得到信息，然后把自己需要的东西筛选下来的一种技术手段。
既然这样，无非就两个问题：1.拿到数据 2.筛选数据

数据清洗技术：
正则表达式
xpath表达式
json解析

发送http请求，获取响应信息：
java本身自带了访问http的相关类，urlconnection（简要说一下，因为基本不用，更多的自己去查），为什么不用自带的方法呢，主要原因就是因为它的功能 太！碎！了！。发送请求，显然没有我们看到的只是发送-接收这么简单的一来回，实际上它是经过了一系列操作复杂转换交互操作的。其中粗略的过程包括（添加请求头，封装数据流，服务器返回信息流到本地缓冲区，然后读取缓存等等）。这就涉及到了一系列的资源打开关闭缓冲读取关闭等操作，利用java原生自带的类，步骤很冗余且不好记忆，所以这里用maven下载拓展包进行访问。

PS：不要纠结为啥要用第三方模块！！！正所谓前人栽树后人乘凉，要学会站在巨人的肩膀上看世界！！！开始鄙人也是觉得，只要不是用原生自带的功能，就挺山寨的，其实不然。第三方模块的实现原理也是基于java相同的底层逻辑，只不过在基础功能上做了封装，让人更方便去调用而已。就好比上学时候学了那么多公式，没必要去研究每一个公式的实现原理！！！如果碰到一个公式，就去纠结爱因斯坦做了什么为什么会得出这个公式，那只能说一辈子时间很短，你要思考的问题太多了~~~以前我也是个较真钻牛角尖的人，后来钻不动了。。。

回归正题，IDEA创建maven项目：


然后添加项目名、路径之类的信息，不用多解释了吧。创建好maven项目后，项目目录下会有一个pom.xml的文件，双击点进去，这个文件就是用来下载第三方模块的。

先访问maven项目的仓库地址：https://mvnrepository.com/
然后搜索 httpclient。点击apache的这个

随便找一个使用人数最多的版本点进去

然后复制里边这堆东西

回到pom.xml，找到这个标签，把复制的东西粘贴到这里边

然后点右边的maven，点下载，然后刷新一下就可以用了，如果不能用，就重启一下idea。

然后就可以用了
发送get请求

public static void test(String url) throws IOException
{
	CloseableHttpClient client = HttpClients.createDefault(); // 这个相当于是发送请求的客户端
	HttpGet get_request = new HttpGet(url); // 请求方法
	get_request.addHeader("key","value"); // 添加请求头
	CloseableHttpResponse response = client.execute(get_request);  // 发送请求,返回的是一个response对象
	EntityUtils.toString(response.getEntity(), "UTF-8"); // 拿到response后，需要得到response的实体，然后用EntityUtils这个工具把实体转成字符串
	System.out.println(res);  // 查看返回值
}

发送post请求，formdata：

public static void test(String url) throws IOException {
	CloseableHttpClient client = HttpClients.createDefault();
    HttpPost post_request = new HttpPost(url);
    post_request.addHeader("",""); // 请求头的参数
    List<BasicNameValuePair> data = new ArrayList<>(); // 创建存储参数的对象
    data.add(new BasicNameValuePair("key", "value")); // 添加参数的键值对
    post_request.setEntity(new UrlEncodedFormEntity(data, "UTF-8")); // 把参数绑定到请求方法上，键值对转换成key=value&key=value这种格式
	CloseableHttpResponse response =client.execute(post_request);
	String res = EntityUtils.toString(response.getEntity(), "UTF-8");
	System.out.println(res);
    }

发送post请求，json：

public static void test(String url) throws IOException {
	CloseableHttpClient client = HttpClients.createDefault();
    HttpPost post_request = new HttpPost(url);
    post_request.addHeader("",""); // 请求头的参数
    JSONObject data = new JSONObject(); // 创建json对象
    data.put("key", "value"); // 添加参数的键值对
    post_request.setEntity(new StringEntity(data.toString())); // 把参数绑定到请求方法上，键值对转换成key=value&key=value这种格式
	CloseableHttpResponse response =client.execute(post_request);
	String res = EntityUtils.toString(response.getEntity(), "UTF-8");
	System.out.println(res);
    }