Java爬虫之HttpClient的使用

最新推荐文章于 2022-08-11 11:07:13 发布
最新推荐文章于 2022-08-11 11:07:13 发布
阅读量6k 收藏 2
点赞数
分类专栏： Java 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42856647/article/details/106895649
版权

HttpClient

导入httpclient依赖

	<dependency>
    	<groupId>org.apache.httpcomponents</groupId>
    	<artifactId>httpclient</artifactId>
    	<version>4.5.12</version>
    </dependency>

Get请求

public class HttpGetTest {
    public static void main(String[] args) {
        //创建httpclient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建httpGet对象，设置url访问地址
        HttpGet httpGet = new HttpGet("https://www.baidu.com");
        CloseableHttpResponse response = null;
        try {
        	//解析响应
            //使用httpGet发起请求，获取response对象
             response = httpClient.execute(httpGet);
             //获取请求的状态码
            if (response.getStatusLine().getStatusCode() == 200) {
                String content = EntityUtils.toString(response.getEntity(),
                        "utf8");
                System.out.println(content);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
        //释放资源
            try {
                response.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                httpClient.close();
            } catch (IOException e) {
                e.printStackTrace();
            }

        }
    }
}

请求成功，返回数据进行打印

在这里插入图片描述
现在问题来了，如果想要获取下面的数据怎么办，就是带有参数的请求
在这里插入图片描述

带parms的Get请求

点击进去看HttpGet会发现HttpGet有几种构造方式，第一种就是我们上面提到的直接一个地址www.baidu.com,其实我们要携带参数直接访问http://search.dangdang.com/？key=Java&act=input即可，就可以直接获取当页的数据，但是我们不可能一需要查什么就查询什么链接吧，我们需要的是参数可以随时变化，所以使用我们的第二种方式传URI

在这里插入图片描述

package com.lin.httpclient;

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.utils.URIBuilder;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @author LCW
 * @since 2020/6/21 14:56
 */
public class httpGetPramsTest {
    public static void main(String[] args) throws Exception {
        //创建httpclient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建URIBuilder
        URIBuilder uriBuilder = new URIBuilder("http://search.dangdang.com");
        //这里有多少个参数就.addParameter多少个
        uriBuilder.addParameter("key", "Java")
                  .addParameter("act", "input");

        //创建httpGet对象，设置url访问地址
        HttpGet httpGet = new HttpGet(uriBuilder.build());
        System.out.println("发起请求的信息：" + httpGet);
        CloseableHttpResponse response = null;
        try {
            //使用httpGet发起请求，获取response对象
             response = httpClient.execute(httpGet);
             //获取请求的状态码
            if (response.getStatusLine().getStatusCode() == 200) {
                String content = EntityUtils.toString(response.getEntity(), "utf8");
                System.out.println(content);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            try {
                response.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                httpClient.close();
            } catch (IOException e) {
                e.printStackTrace();
            }

        }

    }
}

在这里插入图片描述

讲完Get请求，接下来说一下Post请求

package com.lin.httpclient;

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @author LCW
 * @since 2020/6/21 14:56
 */
public class HttpPostTest {
    public static void main(String[] args) {
        //创建httpclient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建httpGet对象，设置url访问地址
        HttpPost httpPost = new HttpPost("http://www.dangdang.com");
        CloseableHttpResponse response = null;
        try {
            //使用httpGet发起请求，获取response对象
             response = httpClient.execute(httpPost);
            if (response.getStatusLine().getStatusCode() == 200) {
                String content = EntityUtils.toString(response.getEntity(), "utf8");
                System.out.println(content);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            try {
                response.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                httpClient.close();
            } catch (IOException e) {
                e.printStackTrace();
            }

        }
    }
}

在这里插入图片描述

Post的带参数的请求，还是访问当当搜索Java

package com.lin.httpclient;

import org.apache.http.NameValuePair;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.List;

/**
 * @author LCW
 * @since 2020/6/21 14:56
 */
public class HttpPostPramsTest {
    public static void main(String[] args) throws UnsupportedEncodingException {
        //创建httpclient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建httpGet对象，设置url访问地址
        HttpPost httpPost = new HttpPost("http://search.dangdang.com");
        //声明list集合，封装表单张的参数
        List<NameValuePair> parms = new ArrayList<>();
        //创建表单的entity对象
        parms.add(new BasicNameValuePair("key", "java"));
        parms.add(new BasicNameValuePair("act", "input"));

        //创建表单的Entity对象
        UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(parms, "utf8");

        //设置表单的Entity对象到post请求中
        httpPost.setEntity(formEntity);

        CloseableHttpResponse response = null;
        try {
            //使用httpGet发起请求，获取response对象
             response = httpClient.execute(httpPost);
            if (response.getStatusLine().getStatusCode() == 200) {
                String content = EntityUtils.toString(response.getEntity(), "utf8");
                System.out.println(content);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            try {
                response.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                httpClient.close();
            } catch (IOException e) {
                e.printStackTrace();
            }

        }
    }
}

在这里插入图片描述

创建连接池

package com.lin.httpclient;

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class HttpClientPoolTest {
    public static void main(String[] args) {
        //创建连接池管理器
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();

        //设置最大连接数
        cm.setMaxTotal(200);

        //设置每个主机的最大连接数  访问一个网站的最大连接属
        cm.setDefaultMaxPerRoute(10);

		// 使用连接池管理器发起请求
        doGet(cm);

    }

    private static void doGet(PoolingHttpClientConnectionManager cm) {
        //通过PoolingHttpClientConnectionManager创建创建httpClient
        CloseableHttpClient httpClient =
                HttpClients.custom().setConnectionManager(cm).build();
        //接下来的跟get请求一样
        HttpGet httpGet = new HttpGet("http://search.dangdang.com");
        CloseableHttpResponse response = null;
        try {
            response = httpClient.execute(httpGet);
            if (response.getStatusLine().getStatusCode() == 200) {
                String content = EntityUtils.toString(response.getEntity(),
                        "utf8");
                System.out.println(content);
            }
        } catch (IOException e) {
            e.printStackTrace();

        } finally {
            //注意这里不用释放httpget，现在将给连接池进行统一管理
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

    }
}

httpClient的一些配置

package com.lin.httpclient;

import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

/**
 * @author LCW
 * @since 2020/6/21 14:56
 */
public class HttpConfigTest {
    public static void main(String[] args) {
        //创建httpclient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建httpGet对象，设置url访问地址
        HttpGet httpGet = new HttpGet("https://www.baodu.com");

        //配置请求信息
        RequestConfig config = RequestConfig.custom()
                .setConnectionRequestTimeout(500)//设置获取连接的最长时间
                .setConnectTimeout(1000)//设置获取连接的最长时间，单位是毫秒
                .setSocketTimeout(10 * 100)//设置数据传输的最长时间
                .build();

        //给请求色泽请求信息
        httpGet.setConfig(config);

        CloseableHttpResponse response = null;
        try {
            //使用httpGet发起请求，获取response对象
            response = httpClient.execute(httpGet);
            if (response.getStatusLine().getStatusCode() == 200) {
                String content = EntityUtils.toString(response.getEntity(),
                        "utf8");
                System.out.println(content);
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                response.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                httpClient.close();
            } catch (IOException e) {
                e.printStackTrace();
            }

        }

    }
}
Stanley_lin_
关注
专栏目录
java httpclient jsoup爬虫
07-30
初级爬虫
HttpClient使用详解与实战一：普通的GET和POST请求
weixin_30673611的博客
05-08 683
简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。 HttpClient最新版本是HttpClient 4.5.3 (GA)。 官方下载：http://hc.apache.org/downloads.cgi 主要特性 基于标准、纯净的Jav...
HttpClient使用详解
热门推荐
鹏霄万里展雄飞
02-28 88万+
Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会更加深入。 一、简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高效的
java调用http接口get,使用Java调用Http接口（post，get）
weixin_34923852的博客
03-16 499
package com.xiaocaimi.open.common.util;import com.alibaba.fastjson.JSONObject;import lombok.extern.slf4j.Slf4j;import org.apache.http.HttpEntity;import org.apache.http.HttpResponse;import org.apache.h...
HTTP协议工具类-Java版本
weixin_37607613的博客
05-25 2528
该工具类可传输普通参数、文件等。 pom文件 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpcore</artifactId> <version>4.4.10</version> </dependency> <dependency> <
【HttpClient】一一一一HttpClient使用
XiaoCoder的博客
01-11 190
HttpClient学习起步例子1、HttpGet2、HttpGetParamTest3、HttpPost4、HttpPostParamTest5、HttpConfig6、HttpClientPool连接池 起步例子 package HttpClient; import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.
Java爬虫源码Java爬虫源码
最新发布
04-25
以下将详细讲解Java爬虫的核心知识点，并结合Python爬虫进行对比。 1. **网络请求库**： - Java中，`HttpURLConnection`和`Apache HttpClient`是常见的HTTP请求库。`HttpURLConnection`是Java标准库的一部分，简单...
Java爬虫Jsoup+httpclient获取动态生成的数据
10-19
Java爬虫是指使用Java语言编写的一类程序，这些程序能够按照既定的规则自动从互联网上抓取信息。常见的Java爬虫库包括Jsoup、HttpClient、HtmlUnit等，它们各具特色，能够处理不同类型的网页内容。 ### Jsoup库解析...
JAVA爬虫实现自动登录淘宝
08-27
JAVA爬虫是指使用JAVA编程语言来实现网页爬虫的技术。爬虫是指模拟用户的行为来自动获取网络资源的程序。JAVA爬虫可以用来自动登录淘宝网，实现自动登录淘宝网的功能。 在本例中，我们使用了Selenium工具来实现自动...
java爬虫需要的jsoup包和httpclient包.rar
02-17
在这个压缩包文件中，包含了两个关键的库：Jsoup和Httpclient，它们是Java爬虫开发中常用的工具。 **Jsoup** 是一个Java库，设计用于处理实际世界的HTML。它提供了非常方便的API，用于提取和操作数据，使用DOM、CSS...
JAVA发送HTTPS请求
bell__liang的博客
07-01 6466
JAVA发送HTTPS请求
Java(13):httpclient4.5.3(CloseableHttpClient)发送http的get和post请求
fen_fen的专栏
08-31 8281
1.CloseableHttpClient介绍 HttpClient是Apache HttpComponents项目中的HttpClient模块。 CloseableHttpClient实现了HttpClient和Closeable接口，其中实现Closeable接口后通过调用close()方法以达到关闭流并释放与流相关的所有资源。 2.HttpClient发送请求、接收响应的使用流程 使用Apache HttpClient发送GET和POST请求的步骤(官网说明)。 官网： https://w
HttpClient可以直接请求https，为何要绕过ssl证书验证？
YHJ
06-06 5417
本程序使用的HttpClient版本：httpclient4.5.2 一个有意思的现象，看下面这段获取百度首页代码的HttpClient请求： importjava.io.IOException; importorg.apache.http.HttpEntity; importorg.apache.http.client.methods.CloseableHttpResponse; importorg.apache.http.client.methods.HttpGet; im...
java 爬虫学习 httpclient使用
长腿小码农的博客
10-04 271
使用httpclient 模拟游览器请求 maven 依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpcore</artifactId> &...
常用工具类之HttpclientUtil
封尘之魂
02-07 2万+
package com.chenfeng.ego.commons.util; import java.io.IOException; import java.net.URI; import java.util.ArrayList; import java.util.List; import java.util.Map; import org.apache.http.NameValuePair;
Java爬虫入门简介（一） —— HttpClient请求及其使用方法
DataLearnerAI
07-27 9742
原文地址：http://www.datalearner.com/blog/1051501160659926数据是科研活动重要的基础。本系列博客将讲述如何使用Java工具获取网络的数据。我们讲述一下爬虫的基本原理。再说明如何使用HttpClient请求路径，包括带参数请求，设置Headers等。
使用org.apache.http发起http请求
weixin_60589038的博客
08-11 975
使用org.apache.http发起http请求
HttpClient工具类（支持多线程高并发）
爱米酱的博客
05-20 2266
今天在使用HttpClient的时候由于使用了多线程，所以出现了如下报错： I/O exception (java.net.BindException) caught when processing request to 于是最后改用连接池来创建httpClient 解决了这个问题，避免资源一直占用不释放的问题。 下面贴出两个工具类的代码供大家比较： 改造前的代码： import java.io.IOException; import java.net.URI; import java.util
HttpClient的简单使用
Learning
12-28 1万+
1、HttpClient的简介      HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。 2、HttpClient普通的Get请求 import java.io.File; import org.apache.commons.io.
Java爬虫进阶：使用HttpClient处理复杂任务
通过这个进阶的Java爬虫示例，读者将了解到如何利用第三方库扩展Java的爬虫能力，处理更复杂的网络抓取任务，为后续深入学习和实战项目打下坚实的基础。同时，这也强调了在实际开发中灵活运用工具和技术的重要性，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值