使用HTTPclient做post请求的爬虫技术

最新推荐文章于 2023-06-09 15:27:42 发布
最新推荐文章于 2023-06-09 15:27:42 发布
阅读量514 收藏 1
点赞数
文章标签： 爬虫 java json
原文链接：https://my.oschina.net/u/4140608/blog/3059758
版权

 

 

 

package com.itheima.spider.httpclient;

 

 

import org.apache.http.Header;

import org.apache.http.HttpEntity;

import org.apache.http.client.entity.UrlEncodedFormEntity;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.client.methods.HttpPost;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;

import org.apache.http.message.BasicNameValuePair;

import org.apache.http.util.EntityUtils;

 

 

import java.io.IOException;

import java.util.ArrayList;

 

 

public class HttpClientPost {

    public static void main(String[] args) throws IOException {

        //1.确定URL

        String indexUrl = "http://www.itcast.cn";

        //2 发送请求,获得数据

        //2.1 创建httpclient对象

        CloseableHttpClient httpClient = HttpClients.createDefault();

        //2.2创建httppost对象--通过URL得到

        HttpPost httpPost = new HttpPost(indexUrl);

        //2.2.1 设置请求头

        httpPost.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.3505.400");

        //2.2.2 设置请求参数

        //先获得请求参数的键值对 list集合

        //一,先建立泛型为 键值对的 list集合

        ArrayList<BasicNameValuePair> basicNameValuePairs = new ArrayList<BasicNameValuePair>;

        //二,给集合中增加数据

        basicNameValuePairs.add(new BasicNameValuePair("txtUser","黑马"));

        basicNameValuePairs.add(new BasicNameValuePair("txtPass","123456"));

        basicNameValuePairs.add(new BasicNameValuePair("city","北京"));

        basicNameValuePairs.add(new BasicNameValuePair("birthday","1980-01-01"));

        basicNameValuePairs.add(new BasicNameValuePair("sex","1"));

        //三.把上面的装有表单数据的list集合给封装到请求体中entity

        UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(basicNameValuePairs);

        //四.把entity给装到请求体中

        httpPost.setEntity(formEntity);

        //2.3发送请求,获得响应

        CloseableHttpResponse response = httpClient.execute(httpPost);

        //2.4 把response中数据给解析出来

        //2.4.1 获得响应头,并且判断是否成功访问

        int statusCode = response.getStatusLine().getStatusCode();

        if(statusCode == 200){

            Header[] headers = response.getHeaders();

            for (Header header : headers) {

                System.out.println("响应头:name:"+header.getName()+"value:"+header.getValue());

            }

            //2.4.2 获得响应体

            HttpEntity entity = response.getEntity();

            //从响应体中获得网页内容并且打印

            String html = EntityUtils.toString(entity, "utf-8");

            System.out.println(html);

        }

        //2.5关闭资源

        httpClient.close();

 

 

    }

}

 

14b6e6dcb207d7948698e3d47a96c478f3a.jpg

 

1.缺点一个爬取的URL

4faf39132985d7dc8e300c6e1b8366ace23.jpg

//1.确定URL

String indexUrl = "http://www.itcast.cn";

 

2发送请求,获取数据

 

2.1创建httpclient对象

1e9b68c1af36d94d8634f721e12d6bf962d.jpg

//2.1 创建httpclient对象

CloseableHttpClient httpClient = HttpClients.createDefault();

 

2.2创建就HTTPpost对象

7f528b0c54e7dad5ff2242963935df7f344.jpg

//2.2创建httpget对象

HttpPost httpPost = new HttpPost(indexUrl);

        

        设置请求头,请求体()

a382ed556f617461fda386808ee22d58b54.jpg

//2.2.1 设置请求头

httpPost.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.3505.400");

 

        设置请求参数:请求体(表单-数据和最下面的)

用于登录的登录名,密码 还有用户信息--键值对

83681d94573587532efed7cc11d469fd15c.jpg

 

//先获得请求参数的键值对 list集合

把上面的装有表单数据的list集合给封装到请求体中entity,再到请求体中

 

d78e59bb6fa8eeb77234c40b25365ca6202.jpg

//先获得请求参数的键值对 list集合

//一,先建立泛型为 键值对的 list集合

ArrayList<BasicNameValuePair> basicNameValuePairs = new ArrayList<BasicNameValuePair>;

//二,给集合中增加数据--表单数据来源于 网页源码中的form data中的数据

basicNameValuePairs.add(new BasicNameValuePair("txtUser","黑马"));

basicNameValuePairs.add(new BasicNameValuePair("txtPass","123456"));

basicNameValuePairs.add(new BasicNameValuePair("city","北京"));

basicNameValuePairs.add(new BasicNameValuePair("birthday","1980-01-01"));

basicNameValuePairs.add(new BasicNameValuePair("sex","1"));

//三.把上面的装有表单数据的list集合给封装到formentity

UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(basicNameValuePairs);

//四.把entity给装到请求体中

httpPost.setEntity(formEntity);

 

2.3发送请求,获取响应 -- response

e7e38b51f7baf021b860e66c21803d750ce.jpg

//2.3发送请求,获得响应

CloseableHttpResponse response = httpClient.execute(httpPost);

 

 

2.4获取响应头  响应状态码  响应体

716570f449b97551af7ab88d2245cdf26bf.jpg

//2.4 把response中数据给解析出来

//2.4.1 获得响应头,并且判断是否成功访问

int statusCode = response.getStatusLine().getStatusCode();

if(statusCode == 200){

Header[] headers = response.getHeaders();

for (Header header : headers) {

System.out.println("响应头:name:"+header.getName()+"value:"+header.getValue());

}

 

 

        获得响应体

从响应体中能获得 网页,并且把html页面给打印出来; 如果是json格式,需要别的ajax处理

93e9c9a2a804507b1c152f8817067155c0b.jpg

//2.4.2 获得响应体

HttpEntity entity = response.getEntity();

//从响应体中获得网页内容并且打印

String html = EntityUtils.toString(entity, "utf-8");

System.out.println(html);

}

 

 

2.5关闭资源

e07db677e2333c0869a657a10cade74763b.jpg

//2.5关闭资源

httpClient.close();

 

打印结果:

0c491e479c1785fda5af736b953f371359f.jpg

 

请求参数的样子

20669e01c78971a8c81ecc1ea708abc131b.jpg

 

 

 

 

package com.itheima.spider.httpclient;

 

 

import org.apache.http.Header;

import org.apache.http.HttpEntity;

import org.apache.http.client.entity.UrlEncodedFormEntity;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.client.methods.HttpPost;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;

import org.apache.http.message.BasicNameValuePair;

import org.apache.http.util.EntityUtils;

 

 

import java.io.IOException;

import java.util.ArrayList;

 

 

public class HttpClientPost {

    public static void main(String[] args) throws IOException {

        //1.确定URL

        String indexUrl = "http://www.itcast.cn";

        //2 发送请求,获得数据

        //2.1 创建httpclient对象

        CloseableHttpClient httpClient = HttpClients.createDefault();

        //2.2创建httppost对象--通过URL得到

        HttpPost httpPost = new HttpPost(indexUrl);

        //2.2.1 设置请求头

        httpPost.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.3505.400");

        //2.2.2 设置请求参数

        //先获得请求参数的键值对 list集合

        //一,先建立泛型为 键值对的 list集合

        ArrayList<BasicNameValuePair> basicNameValuePairs = new ArrayList<BasicNameValuePair>;

        //二,给集合中增加数据

        basicNameValuePairs.add(new BasicNameValuePair("txtUser","黑马"));

        basicNameValuePairs.add(new BasicNameValuePair("txtPass","123456"));

        basicNameValuePairs.add(new BasicNameValuePair("city","北京"));

        basicNameValuePairs.add(new BasicNameValuePair("birthday","1980-01-01"));

        basicNameValuePairs.add(new BasicNameValuePair("sex","1"));

        //三.把上面的装有表单数据的list集合给封装到请求体中entity

        UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(basicNameValuePairs);

        //四.把entity给装到请求体中

        httpPost.setEntity(formEntity);

        //2.3发送请求,获得响应

        CloseableHttpResponse response = httpClient.execute(httpPost);

        //2.4 把response中数据给解析出来

        //2.4.1 获得响应头,并且判断是否成功访问

        int statusCode = response.getStatusLine().getStatusCode();

        if(statusCode == 200){

            Header[] headers = response.getHeaders();

            for (Header header : headers) {

                System.out.println("响应头:name:"+header.getName()+"value:"+header.getValue());

            }

            //2.4.2 获得响应体

            HttpEntity entity = response.getEntity();

            //从响应体中获得网页内容并且打印

            String html = EntityUtils.toString(entity, "utf-8");

            System.out.println(html);

        }

        //2.5关闭资源

        httpClient.close();

 

 

    }

}

 

66567c344a87224c18e7623797cc2500fa6.jpg

 

1.缺点一个爬取的URL

616eca6b25e9647ebb680faee0d8276b8da.jpg

//1.确定URL

String indexUrl = "http://www.itcast.cn";

 

2发送请求,获取数据

 

2.1创建httpclient对象

613eaf740b97aeacdbf8e379ecb19e6b0f6.jpg

//2.1 创建httpclient对象

CloseableHttpClient httpClient = HttpClients.createDefault();

 

2.2创建就HTTPpost对象

a06067fc447fcda61a146ee696f1c92074c.jpg

//2.2创建httpget对象

HttpPost httpPost = new HttpPost(indexUrl);

        

        设置请求头,请求体()

90b90e10d93ddccf12ca9eae8047e6cdc0e.jpg

//2.2.1 设置请求头

httpPost.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.3505.400");

 

        设置请求参数:请求体(表单-数据和最下面的)

用于登录的登录名,密码 还有用户信息--键值对

adf5bb5a351006e4bd781e89837e46e7234.jpg

 

//先获得请求参数的键值对 list集合

把上面的装有表单数据的list集合给封装到请求体中entity,再到请求体中

 

d543d9c3c553acc166b6f0182b31be06795.jpg

//先获得请求参数的键值对 list集合

//一,先建立泛型为 键值对的 list集合

ArrayList<BasicNameValuePair> basicNameValuePairs = new ArrayList<BasicNameValuePair>;

//二,给集合中增加数据--表单数据来源于 网页源码中的form data中的数据

basicNameValuePairs.add(new BasicNameValuePair("txtUser","黑马"));

basicNameValuePairs.add(new BasicNameValuePair("txtPass","123456"));

basicNameValuePairs.add(new BasicNameValuePair("city","北京"));

basicNameValuePairs.add(new BasicNameValuePair("birthday","1980-01-01"));

basicNameValuePairs.add(new BasicNameValuePair("sex","1"));

//三.把上面的装有表单数据的list集合给封装到formentity

UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(basicNameValuePairs);

//四.把entity给装到请求体中

httpPost.setEntity(formEntity);

 

2.3发送请求,获取响应 -- response

02e34d8d1c2cdd94ec7eee8665446f20ca0.jpg

//2.3发送请求,获得响应

CloseableHttpResponse response = httpClient.execute(httpPost);

 

 

2.4获取响应头  响应状态码  响应体

f7a6753836428d79d4cfbe4dceb3f4db75b.jpg

//2.4 把response中数据给解析出来

//2.4.1 获得响应头,并且判断是否成功访问

int statusCode = response.getStatusLine().getStatusCode();

if(statusCode == 200){

Header[] headers = response.getHeaders();

for (Header header : headers) {

System.out.println("响应头:name:"+header.getName()+"value:"+header.getValue());

}

 

 

        获得响应体

从响应体中能获得 网页,并且把html页面给打印出来; 如果是json格式,需要别的ajax处理

75bfe4f087e48c3ac9fe5834b2cdd24794a.jpg

//2.4.2 获得响应体

HttpEntity entity = response.getEntity();

//从响应体中获得网页内容并且打印

String html = EntityUtils.toString(entity, "utf-8");

System.out.println(html);

}

 

 

2.5关闭资源

34bbcbe65de230d01660011b105d442c347.jpg

//2.5关闭资源

httpClient.close();

 

打印结果:

bd504b4c2ef81380b3ca45745c44faa0e8c.jpg

 

请求参数的样子

32fc4ae6261cefcd1e8772e6d07a965cb9c.jpg

 

 

 

 

package com.itheima.spider.httpclient;

 

 

import org.apache.http.Header;

import org.apache.http.HttpEntity;

import org.apache.http.client.entity.UrlEncodedFormEntity;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.client.methods.HttpPost;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;

import org.apache.http.message.BasicNameValuePair;

import org.apache.http.util.EntityUtils;

 

 

import java.io.IOException;

import java.util.ArrayList;

 

 

public class HttpClientPost {

    public static void main(String[] args) throws IOException {

        //1.确定URL

        String indexUrl = "http://www.itcast.cn";

        //2 发送请求,获得数据

        //2.1 创建httpclient对象

        CloseableHttpClient httpClient = HttpClients.createDefault();

        //2.2创建httppost对象--通过URL得到

        HttpPost httpPost = new HttpPost(indexUrl);

        //2.2.1 设置请求头

        httpPost.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.3505.400");

        //2.2.2 设置请求参数

        //先获得请求参数的键值对 list集合

        //一,先建立泛型为 键值对的 list集合

        ArrayList<BasicNameValuePair> basicNameValuePairs = new ArrayList<BasicNameValuePair>;

        //二,给集合中增加数据

        basicNameValuePairs.add(new BasicNameValuePair("txtUser","黑马"));

        basicNameValuePairs.add(new BasicNameValuePair("txtPass","123456"));

        basicNameValuePairs.add(new BasicNameValuePair("city","北京"));

        basicNameValuePairs.add(new BasicNameValuePair("birthday","1980-01-01"));

        basicNameValuePairs.add(new BasicNameValuePair("sex","1"));

        //三.把上面的装有表单数据的list集合给封装到请求体中entity

        UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(basicNameValuePairs);

        //四.把entity给装到请求体中

        httpPost.setEntity(formEntity);

        //2.3发送请求,获得响应

        CloseableHttpResponse response = httpClient.execute(httpPost);

        //2.4 把response中数据给解析出来

        //2.4.1 获得响应头,并且判断是否成功访问

        int statusCode = response.getStatusLine().getStatusCode();

        if(statusCode == 200){

            Header[] headers = response.getHeaders();

            for (Header header : headers) {

                System.out.println("响应头:name:"+header.getName()+"value:"+header.getValue());

            }

            //2.4.2 获得响应体

            HttpEntity entity = response.getEntity();

            //从响应体中获得网页内容并且打印

            String html = EntityUtils.toString(entity, "utf-8");

            System.out.println(html);

        }

        //2.5关闭资源

        httpClient.close();

 

 

    }

}

 

37753973e8dae5808034b34f9a07852e9c9.jpg

 

1.缺点一个爬取的URL

1148b226e18452649384cb18a311d892550.jpg

//1.确定URL

String indexUrl = "http://www.itcast.cn";

 

2发送请求,获取数据

 

2.1创建httpclient对象

33c4a8e82a4165895cfcd992e849cc124b3.jpg

//2.1 创建httpclient对象

CloseableHttpClient httpClient = HttpClients.createDefault();

 

2.2创建就HTTPpost对象

15e7c8669734c3856b8d719509bda1b9d64.jpg

//2.2创建httpget对象

HttpPost httpPost = new HttpPost(indexUrl);

        

        设置请求头,请求体()

316c2cd98bb143574b911533811ca3a74cd.jpg

//2.2.1 设置请求头

httpPost.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.3505.400");

 

        设置请求参数:请求体(表单-数据和最下面的)

用于登录的登录名,密码 还有用户信息--键值对

0b72e2d8467b05cb88a506d1eb8e238c06e.jpg

 

//先获得请求参数的键值对 list集合

把上面的装有表单数据的list集合给封装到请求体中entity,再到请求体中

 

d612cc890f6eaee648a8839b33588c0c016.jpg

//先获得请求参数的键值对 list集合

//一,先建立泛型为 键值对的 list集合

ArrayList<BasicNameValuePair> basicNameValuePairs = new ArrayList<BasicNameValuePair>;

//二,给集合中增加数据--表单数据来源于 网页源码中的form data中的数据

basicNameValuePairs.add(new BasicNameValuePair("txtUser","黑马"));

basicNameValuePairs.add(new BasicNameValuePair("txtPass","123456"));

basicNameValuePairs.add(new BasicNameValuePair("city","北京"));

basicNameValuePairs.add(new BasicNameValuePair("birthday","1980-01-01"));

basicNameValuePairs.add(new BasicNameValuePair("sex","1"));

//三.把上面的装有表单数据的list集合给封装到formentity

UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(basicNameValuePairs);

//四.把entity给装到请求体中

httpPost.setEntity(formEntity);

 

2.3发送请求,获取响应 -- response

ee3334657c693a17bfd03424c6f895be42a.jpg

//2.3发送请求,获得响应

CloseableHttpResponse response = httpClient.execute(httpPost);

 

 

2.4获取响应头  响应状态码  响应体

8203faccf7e72075ca687303aa551837120.jpg

//2.4 把response中数据给解析出来

//2.4.1 获得响应头,并且判断是否成功访问

int statusCode = response.getStatusLine().getStatusCode();

if(statusCode == 200){

Header[] headers = response.getHeaders();

for (Header header : headers) {

System.out.println("响应头:name:"+header.getName()+"value:"+header.getValue());

}

 

 

        获得响应体

从响应体中能获得 网页,并且把html页面给打印出来; 如果是json格式,需要别的ajax处理

9b1e79b08f647e1336fce3fc2649eaa2223.jpg

//2.4.2 获得响应体

HttpEntity entity = response.getEntity();

//从响应体中获得网页内容并且打印

String html = EntityUtils.toString(entity, "utf-8");

System.out.println(html);

}

 

 

2.5关闭资源

d5feaab0c01c2da5226c3ab2ef950982c65.jpg

//2.5关闭资源

httpClient.close();

 

打印结果:

184136bb6bec48ab999ddcb4d0ccdbc003c.jpg

 

请求参数的样子

621f6c005439dcc148b0fb5845146721995.jpg

 

 

转载于:https://my.oschina.net/u/4140608/blog/3059758

chiwu0165
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Winform中使用HttpClient实现调用http的post接口并设置传参content-type为application/json示例
BADAO_LIUMANG_QIZHI的博客
07-04 590
上面使用HttpClient调用post接口时使用的HttpContent的格式为 application/x-www-form-urlencoded对应的代码实现如果调用接口时明确指出必须是application/json格式，则需要修改代码实现方式。
爬虫一：发送请求, 获取数据
弱水三千、先干为敬
09-18 1315
1、初识爬虫 1.1 什么是爬虫 网络爬虫本质上就是一个程序 或者 脚本, 网络爬虫按照一定规则获取互联网中信息(数据), 一般来说爬虫被分为三大模块: 获取数据 解析数据 保存数据。 1.2 爬虫的分类 （1）通用爬虫: 指的获取互联网中所有的数据, 不局限于网站, 行业, 分类 例如：百度 谷歌 等 （2）垂直爬虫: 指的获取互联网中某一个网站, 某一个行业, 某一个分类下的数据 例如：慢慢买...
httpclient发送Get请求和Post请求
weixin_42274846的博客
11-03 5271
httpclient发送get请求和post请求
爬虫知识基础
qq_43467548的博客
11-28 962
##网络爬虫 网络爬虫，是一种按照一定的规则，自动的抓取信息的程序或者脚本 public class ClawlerFirst { public static void main(String[] args) throws IOException { //打开浏览器,创建一个HttpClient对象 CloseableHttpClient httpClient= HttpClients.creat...
HTTP 中 POST 提交数据的四种方式详解
最新发布
APItesterCris的博客
06-09 1万+
HTTP 中 POST 提交数据的四种方式详解 首先说一下为什么写这篇文章，以前写客户端的时候，要经常调用后端的接口，一般很多公司的接口，都是统一 POST 提交方式 服务端响应的是 JSON 格式字符串，方便统一管理，当时对 POST 不太清楚，开始的时候，不觉得有啥 但是真正等到自己写一个独立的技术社区的时候，也就是www.helloworld.net，需要上传，需要表单提交等 才发现，不懂这些，用到了的时候，很是费劲，很耽误时间。 下面就当是复习了，学习一下GET,POST这两种最常用的
使用HTMLPARSER和HTTPCLIENT制作网络爬虫，附赠相关技术文档。
03-22
本教程将聚焦于如何使用HTMLPARSER和HTTPCLIENT库来构建一个基础的网络爬虫。这两个工具是Java开发者常用来解析HTML和进行HTTP请求的重要库。 首先，HTMLPARSER是一个开源的Java库，它可以解析HTML文档并提供类似于...
java web中 HttpClient模拟浏览器登录后发起请求
08-30
Java Web 中 HttpClient 模拟浏览器登录后发起请求是指在 Java Web 应用程序中使用 HttpClient 库模拟浏览器的行为，模拟浏览器登录到服务器，然后发起请求获取资源。这种技术广泛应用于爬虫、自动化测试、数据爬取...
jsoup+httpclient j简单爬虫
07-05
在信息技术领域，数据抓取，或称“爬虫”，是一种自动化获取网页信息的技术。JavaScript Object Notation (JSON) Soup 和 HttpClient 是两个在Java开发中常用于实现爬虫功能的库。JSoup 提供了方便的 API 用于解析 ...
java爬虫需要的jsoup包和httpclient包.rar
02-17
Java爬虫技术是软件开发中一个重要的领域，主要用于自动化地抓取互联网上的数据。在这个压缩包文件中，包含了两个关键的库：Jsoup和Httpclient，它们是Java爬虫开发中常用的工具。 **Jsoup** 是一个Java库，设计...
HTTP
zstone1的博客
04-03 440
(完全是对阮一峰文章的筛选复制。仅供自己学习参考。) 原文链接：http://www.ruanyifeng.com/blog/2016/08/http.html 首先HTTP是基于TCP/IP的应用层协议。它不涉及数据包传输，主要规定了客户端和服务器之间的通信格式，默认使用80端口。 #http/0.9版本 只有一个GET命令 GET /index.html TCP连接建立后，客户端向服务器请求...
HttpClient 发送get和post请求
12-20
一个简单的易学的 基于HttpClient 4.3发送psot及get请求，返回数据，适合初学者,适合初学者
java爬虫（一） - HttpClient
qq_45752401的博客
06-24 964
爬虫入门网络爬虫简介为什么要学习爬虫下面演示httpClient方式普通 get 方式带参 get 方式普通 post 方式带参 post 方式创建连接池管理httpClient 网络爬虫简介 网络爬虫也叫网络机器人, 是一种可以按照一定规则自动采集互联网信息的程序或脚本, 爬虫一般分为数据采集, 处理, 储存三个部分, 从若干初始网页的URL开始抓取网页, 不断获取页面上的URL放入队列直到满足系统的一定条件停止 为什么要学习爬虫 可以实现私人的搜索引擎 大数据时代获取数据源, 作数据分析 可
HttpClient系列-Post使用基础知识
GTH07399的博客
03-12 1509
简述 本文学习如何简单的使用POST，如何上传文件等等场景 基础POST 首先，让我们来看一个简单的例子，并使用HttpClient发送POST请求。 我们将使用两个参数 - “username”和“password” 进行POST ： @Test public void test() throws ClientProtocolException, IOException { CloseableHttpClient client = HttpClients.createDefa
Java爬虫入门（一）使用HttpClient发起Get 或Post请求
欢迎来到我的博客站点
08-20 823
掘金原文 传送门 本文参考Java 爬虫学习（一）关于 HttpClient 发起 Get 、Post 请求（想要了解其详细的 可点击此处） 使用HtttpClient模拟客户端爬取网页数据，总的来说，无非就是三个大步骤： 创建HttClient对象（模拟客户端）和设置URI地址 发起请求，获取响应（服务器的反应） 解析消息的内容（头部，实体等） 依据Maven管理的一个项目结构 log4...
轻松把玩HttpClient之配置ssl，采用绕过证书验证实现https
xygg0801的博客
12-13 965
httpclient不能直接访问https的资源，这次就来模拟一下环境，然后配置https测试一下。在前面的文章中，分享了一篇自己生成并在tomcat中配置ssl的文章《Tomcat配置SSL》，大家可以据此来在本地配置https。我已经配置好了，效果是这样滴： 可以看到已经信任该证书（显示浅绿色小锁），浏览器可以正常访问。现在我们用代码测试一下：
HTTP协议以及get和post请求
weixin_46569775的博客
04-21 4567
HTTP协议 是W3C制定的一种超文本传输协议。 W3C： 万维网联盟组织 负责制定标准的：HTTP HTML4.0 HTML5 XML DOM等规范都是W3C制定的 超文本：不是普通文本，比如流媒体、声音、视频、图片等 协议： 协议实际上是某些人，或者某些组织提前制定好的一套规范，大家都按照这个规范来，这样可以做到沟通无障碍。 协议就是一套规范，就是一套标准。由其他人或其他组织来负责制定的。 我说的话你能听懂，你说的话，我也能听懂，这说
HttpClient获取响应状态码Status
热门推荐
GaoChenXi
07-13 2万+
我们HttpClient向服务器请求时，正常情况 执行成功 返回200状态码，不一定每次都会请求成功，比如这个请求地址不存在 返回404 服务器内部报错 返回500，有些服务器带有防采集，假如你频繁的采集数据，则返回403 拒绝你请求。 当然 我们是有办法的 下一章会发布用代理IP，解决此类问题 demo: package com.gcx.demo.HelloWor
动手写网络爬虫：全面剖析爬虫技术
网络爬虫，也被称为Spider，是搜索引擎背后的关键技术，用于自动抓取网页并更新信息。虽然已有大型搜索引擎如百度和Google在进行大规模的数据抓取，但自建爬虫在特定场景下仍有其必要性，如企业数据整合、数据挖掘或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值