Java爬虫（一）利用GET和POST发送请求，获取服务器返回信息

本人所使用软件

• eclipse
• fiddle
• UC浏览器

分析请求信息

以知乎(https://www.zhihu.com)为例，模拟登陆请求，获取登陆后首页，首先就是分析请求信息。

用UC浏览器F12，点击Network，按F5刷新。使用自己账号登陆知乎后，点www.zhihu.com网址后，出现以下界面

在General中，看到请求方式是GET，在fiddle里请求构造中，方法选定GET。
下拉后，看到Request Header，将里面所有的内容复制下来，粘贴到fiddle的请求构造里

点击Execute，在fiddle中点击访问的网址，点击嗅探，点击下方的TextView，发现并没有显示内容

删除部分无用的Request Header，点击Execute，发现返回数据成功！

发送请求信息，获取数据

从以上的分析可以知道，访问知乎需要的Request Header，只需要有COOKIE就足够了，因此，我们将请求构造里帮我们格式化的内容，复制到txt文件内

接下来就是使用Java发送请求信息了。发送请求信息很简单，就直接贴出代码共同讨论。

package Main;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.util.HashMap;
import java.util.Map;

import Utils.HttpUtils;
import Utils.HttpUtils.OnVisitingListener;
import Utils.StreamUtils;
import Utils.StreamUtils.OnGetStringListener;

public class Main {
public static void main(String[] args) {
// 获取网页数据
getWebData();
// 设置参数
// 得到返回数据
}

private static void getWebData() {
    HttpUtils httpUtils = HttpUtils.newInstance();
    httpUtils.set