java爬虫之OKhttp3了解及使用

目录

文章目录

前言

一、OKHTTP是什么？

二、下载源码

1.下载get请求：

2.下载post请求：

总结

---

前言

提示：这里可以添加本文要记录的大概内容：

例如：随着大数据和人工智能的不断发展，爬虫这门技术也越来越重要，很多人都开启了java爬虫之路，本文就介绍了java爬虫的思路和基础内容。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、OKHTTP是什么？

要了解okhttp之前，OKHttp是Square公司辨析的一个网络请求框架，也是目前使用最多的网络框架之一。OKHttp是基于HTTP协议封装的一套请求客户端，在请求底层支持连接同一个地址的链接共享同一个Socket。那么什么事Socket呢？在计算机通信领域，socket 被翻译为“套接字”（套接字=主机+端口号），它是计算机之间进行通信的一种约定或一种方式。通过 socket这种约定，一台计算机可以接收其他计算机的数据，也可以向其他计算机发送数据。

OkHttp的优点
        允许连接到同一个主机地址的所有请求共享Socket。可以有效管理网络连接以及提高连接复用率。
        通过连接池减少请求的延迟。
        GZip透明压缩减少传输的数据包大小。
        缓存请求，避免同一个重复的网络请求。

会从很多常用的连接问题中自动恢复。如果您的服务器配置了多个IP地址，当第一个IP连接失败的时候，OkHttp会自动尝试下一个IP。OkHttp还处理了代理服务器问题和SSL握手失败问题。

总结理解：okhttp就是用来访问处理网络请求的，更高效，方便的得到请求的资源。

二、下载源码

1.下载get请求：

代码如下（示例）：

private static String getJson(String url) {
    String html = "";
    OkHttpClient client = new OkHttpClient().newBuilder()
            .build();
    Request request = new Request.Builder()
            .url(url)
            .method("GET", null)
            .addHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9")
            .addHeader("Accept-Language", "zh-CN,zh;q=0.9")
            .addHeader("Cache-Control", "no-cache")
            .addHeader("Connection", "keep-alive")
            .addHeader("Pragma", "no-cache")
            .addHeader("Upgrade-Insecure-Requests", "1")
            .addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36")
            .build();
    try {
        Response response = client.newCall(request).execute();
        html = response.body().string();
    } catch (IOException e) {
        e.printStackTrace();
    }
    return html;
}

2.下载post请求：

代码如下（示例）：

private static String getJson(String url,String ss) {
    
    String html = "";
    OkHttpClient client = new OkHttpClient().newBuilder()
            .build();
    MediaType mediaType = MediaType.parse("application/x-www-form-urlencoded; charset=UTF-8");
    RequestBody body = RequestBody.create(mediaType, "请求体参数");
    Request request = new Request.Builder()
            .url("http://wjw.fujian.gov.cn/fjdzapp/search")
            .method("POST", body)
            .addHeader("Accept", "application/json, text/javascript, */*; q=0.01")
            .addHeader("Accept-Language", "zh-CN,zh;q=0.9")
            .addHeader("Cache-Control", "no-cache")
            .addHeader("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8")
            .addHeader("Origin", "http://wjw.fujian.gov.cn")
            .addHeader("Pragma", "no-cache")
            .addHeader("Proxy-Connection", "keep-alive")
            .addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36")
            .addHeader("X-Requested-With", "XMLHttpRequest")
            .build();
    try {
        Response response = client.newCall(request).execute();
        html = response.body().string();
    } catch (IOException e) {
        e.printStackTrace();
    }
    return html;
}

该处使用的url网络请求的数据。

---

总结

爬取数据，下载源码是第一部分，通过OKhttp来获取源码，进而采用下一篇Jsoup进行解析