新冠疫情大数据平台项目基础(1.URLConnection)

最新推荐文章于 2024-07-14 19:38:24 发布

码盲进化路

最新推荐文章于 2024-07-14 19:38:24 发布

阅读量500

点赞数

分类专栏：新冠疫情防控平台项目文章标签： java 爬虫 http url

本文链接：https://blog.csdn.net/qq_38494269/article/details/114634871

版权

新冠疫情防控平台项目专栏收录该内容

6 篇文章 0 订阅

订阅专栏

URLConnection

URLConnection 是 JDK 自带的一个抽象类，其代表应用程序和 URL 之间的通信链接。在网络爬虫中，我们可以使用 URLConnection 请求一个 URL 地址，然后获取流信息，通过对流信息的操作，可获得请求到的实体内容。学习过程中了解到有GET和POST两种基本请求方法。关于这两种方法的区别在该博客有非常生动形象的介绍。博客链接

GET方法

public void testGet() throws Exception {
        //1.确定要爬取的URL
        URL url = new URL("http://www.itcast.cn/?username=lgy");
        //2.获取连接对象
        HttpURLConnection urlConnection = (HttpURLConnection)url.openConnection();
        //3.设置连接信息：请求方式、请求参数
        urlConnection.setRequestMethod("GET");//请求方式默认即为GET，大写
        urlConnection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36");
        urlConnection.setConnectTimeout(30000);//设置超时时间，单位毫秒
        //4.获取数据
        InputStream in = urlConnection.getInputStream();
        BufferedReader reader = new BufferedReader(new InputStreamReader(in));
        String line;
        String html ="";
        while((line = reader.readLine()) != null){
            html += line + "\n";
        }
        System.out.println(html);
        //5.关闭资源
        in.close();
        reader.close();
    }

POST方法

public void testPost() throws Exception { //post请求的方式
        URL url = new URL("http://www.itcast.cn/");
        HttpURLConnection urlConnection = (HttpURLConnection)url.openConnection();

        urlConnection.setDoOutput(true);//允许向url输出内容
        urlConnection.setRequestMethod("POST");
        urlConnection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36");
        urlConnection.setConnectTimeout(30000);
        OutputStream out = urlConnection.getOutputStream();
        out.write("username=xx".getBytes());

        InputStream in = urlConnection.getInputStream();
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in));
        String line;
        String html = "";
        while((line = bufferedReader.readLine()) != null){
            html += line + "\n";
        }
        System.out.println(html);

        in.close();
        bufferedReader.close();
    }

GET和POST是HTTP协议中的两种发送请求的方法。HTTP是基于TCP/IP的关于数据如何在万维网中如何通信的协议。HTTP的底层是TCP/IP。所以GET和POST的底层也是TCP/IP，也就是说，GET/POST都是TCP链接。GET和POST能做的事情是一样一样的。你要给GET加上request body，给POST带上url参数，技术上是完全行的通的。
在我大万维网世界中，TCP就像汽车，我们用TCP来运输数据，它很可靠，从来不会发生丢件少件的现象。但是如果路上跑的全是看起来一模一样的汽车，那这个世界看起来是一团混乱，送急件的汽车可能被前面满载货物的汽车拦堵在路上，整个交通系统一定会瘫痪。为了避免这种情况发生，交通规则HTTP诞生了。HTTP给汽车运输设定了好几个服务类别，有GET, POST, PUT, DELETE等等，HTTP规定，当执行GET请求的时候，要给汽车贴上GET的标签（设置method为GET），而且要求把传送的数据放在车顶上（url中）以方便记录。如果是POST请求，就要在车上贴上POST的标签，并把货物放在车厢里。当然，你也可以在GET的时候往车厢内偷偷藏点货物，但是这是很不光彩；也可以在POST的时候在车顶上也放一些数据，让人觉得傻乎乎的。HTTP只是个行为准则，而TCP才是GET和POST怎么实现的基本。
在我大万维网世界中，还有另一个重要的角色：运输公司。不同的浏览器（发起http请求）和服务器（接受http请求）就是不同的运输公司。虽然理论上，你可以在车顶上无限的堆货物（url中无限加参数）。但是运输公司可不傻，装货和卸货也是有很大成本的，他们会限制单次运输量来控制风险，数据量太大对浏览器和服务器都是很大负担。业界不成文的规定是，（大多数）浏览器通常都会限制url长度在2K个字节，而（大多数）服务器最多处理64K大小的url。超过的部分，恕不处理。如果你用GET服务，在request body偷偷藏了数据，不同服务器的处理方式也是不同的，有些服务器会帮你卸货，读出数据，有些服务器直接忽略，所以，虽然GET可以带request body，也不能保证一定能被接收到哦。GET和POST本质上就是TCP链接，并无差别。但是由于HTTP的规定和浏览器/服务器的限制，导致他们在应用过程中体现出一些不同。
GET和POST还有一个重大区别，简单的说：GET产生一个TCP数据包；POST产生两个TCP数据包。长的说：对于GET方式的请求，浏览器会把http header和data一并发送出去，服务器响应200（返回数据）；而对于POST，浏览器先发送header，服务器响应100 continue，浏览器再发送data，服务器响应200 ok（返回数据）。也就是说，GET只需要汽车跑一趟就把货送到了，而POST得跑两趟，第一趟，先去和服务器打个招呼“嗨，我等下要送一批货来，你们打开门迎接我”，然后再回头把货送过去。因为POST需要两步，时间上消耗的要多一点，看起来GET比POST更有效。因此Yahoo团队有推荐用GET替换POST来优化网站性能。但这是一个坑！跳入需谨慎。为什么？