Java爬虫之HttpClient与Jsoup详解

最新推荐文章于 2024-04-30 14:28:06 发布
最新推荐文章于 2024-04-30 14:28:06 发布
阅读量809 收藏 3
点赞数 1
分类专栏： 爬虫 文章标签： 爬虫 java http
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45829957/article/details/122339713
版权

一、HttpClient

网络爬虫就是用程序帮助我们访问网络上的资源，我们一直以来都是使用HTTP协议访问互联网的网页，网络爬虫需要编写程序，在这里使用同样的HTTP协议访问网页。
这里我们使用Java的HTTP协议客户端 HttpClient这个技术，来实现抓取网页数据。

所需依赖

<dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.3</version>
</dependency>

1. GET请求

//创建HttpClient对象
CloseableHttpClient httpClient = HttpClients.createDefault();

//创建HttpGet请求
HttpGet httpGet = new HttpGet("");//爬取网页地址

//使用HttpClient发起请求
response = httpClient.execute(httpGet);

//获取请求数据
String content = EntityUtils.toString(response.getEntity(), “UTF-8”);

2. 带参数的GET请求

  1. 在uri地址后用?key=value的形式手动携带请求参数
  2. //设置请求地址是：http://liujin.top/search?keys=Java
    //创建URIBuilder
    URIBuilder uriBuilder = new URIBuilder(“http://liujin.top/search?keys=Java”);
    //设置参数
    uriBuilder.setParameter(“keys”,“Java”);
    //创建HttpGet对象，设置url访问地址
    HttpGet httpGet = new HttpGet(uriBuilder.build());

3. POST请求

HttpPost httpPost = new HttpPost(“http://www.liujin.top”);

4. 带参数的POST请求

  1. 创建HttpPost对象，设置url访问地址
    HttpPost httpPost = new HttpPost(“http://www.liujin.top/search”);

  2. 声明List集合，封装表单中的参数
    List params = new ArrayList();

  3. 设置请求地址是：http://www.liujin.top/search?keys=Java
    params.add(new BasicNameValuePair(“keys”,“Java”));

  4. 创建表单的Entity对象,第一个参数就是封装好的表单数据，第二个参数就是编码
    UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(params,“utf8”);

  5. 设置表单的Entity对象到Post请求中
    httpPost.setEntity(formEntity);

5. 连接池

如果每次请求都要创建HttpClient，会有频繁创建和销毁的问题，可以使用连接池来解决这个问题

public static void main(String[] args) {
    PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();

    //    设置最大连接数
    cm.setMaxTotal(200);

    //    设置每个主机的并发数
    cm.setDefaultMaxPerRoute(20);

    doGet(cm);

    doGet(cm);

}

private static void doGet(PoolingHttpClientConnectionManager cm) {
    CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();

    HttpGet httpGet = new HttpGet("http://www.liujin.top");

    CloseableHttpResponse response = null;

    try {
        response = httpClient.execute(httpGet);

        // 判断状态码是否是200
        if (response.getStatusLine().getStatusCode() == 200) {
            // 解析数据
            String content = EntityUtils.toString(response.getEntity(), "UTF-8");
            System.out.println(content.length());
        }


    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        //释放连接
        if (response == null) {
            try {
                response.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            //不能关闭HttpClient
            //httpClient.close();
        }
    }
}

6. 连接池请求参数

public static void main(String[] args) throws IOException {
    //创建HttpClient对象
    CloseableHttpClient httpClient = HttpClients.createDefault();

    //创建HttpGet请求
    HttpGet httpGet = new HttpGet("http://www.liujin.top");

    //设置请求参数
    RequestConfig requestConfig = RequestConfig.custom()
            .setConnectTimeout(1000)//设置创建连接的最长时间
            .setConnectionRequestTimeout(500)//设置获取连接的最长时间
            .setSocketTimeout(10 * 1000)//设置数据传输的最长时间
            .build();

    httpGet.setConfig(requestConfig);

    CloseableHttpResponse response = null;
    try {
        //使用HttpClient发起请求
        response = httpClient.execute(httpGet);

        //判断响应状态码是否为200
        if (response.getStatusLine().getStatusCode() == 200) {
            //如果为200表示请求成功，获取返回数据
            String content = EntityUtils.toString(response.getEntity(), "UTF-8");
            //打印数据长度
            System.out.println(content);
        }

    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        //释放连接
        if (response == null) {
            try {
                response.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            httpClient.close();
        }
    }
}

二、 Jsoup

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据

所需依赖

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.3</version>
</dependency>

1. 解析url

Jsoup可以直接输入url，它会发起请求并获取数据，封装为Document对象

@Test
public void testJsoupUrl() throws Exception {
    //    解析url地址,后面的1000ms指解析时间
    Document document = Jsoup.parse(new URL("http://www.liujin.top"), 1000);

    //获取title的内容
    Element title = document.getElementsByTag("title").first();
    System.out.println(title.text());
}

2. 解析字符串

Jsoup可以直接输入字符串，并封装为Document对象

@Test
public void testJsoupString() throws Exception {
    //读取文件获取
    String html = FileUtils.readFileToString(new File("D:\\jsoup.html"), "UTF-8");

    //    解析字符串
    Document document = Jsoup.parse(html);

    //获取title的内容
    Element title = document.getElementsByTag("title").first();
    System.out.println(title.text());

}

3. 解析文件

Jsoup可以直接解析文件，并封装为Document对象

@Test
public void testJsoupHtml() throws Exception {
    //    解析文件
    Document document = Jsoup.parse(new File("D:\\jsoup.html"),"UTF-8");
    //获取title的内容
    Element title = document.getElementsByTag("title").first();
    System.out.println(title.text());
}

4. 使用dom方式遍历文档

元素获取

  1. 根据id查询元素getElementById
  2. 根据标签获取元素getElementsByTag
  3. 根据class获取元素getElementsByClass
  4. 根据属性获取元素getElementsByAttribute
//1.    根据id查询元素getElementById
Element element = document.getElementById("city_bj");

//2.   根据标签获取元素getElementsByTag
element = document.getElementsByTag("title").first();

//3.   根据class获取元素getElementsByClass
element = document.getElementsByClass("s_name").last();

//4.   根据属性获取元素getElementsByAttribute
element = document.getElementsByAttribute("abc").first();
element = document.getElementsByAttributeValue("class", "city_con").first();

元素中获取数据

//获取元素
Element element = document.getElementById("test");

//1.   从元素中获取id
String str = element.id();

//2.   从元素中获取className
str = element.className();

//3.   从元素中获取属性的值attr
str = element.attr("id");

//4.   从元素中获取所有属性attributes
str = element.attributes().toString();

//5.   从元素中获取文本内容text
str = element.text();

5. 使用选择器语法查找元素

jsoup elements对象支持类似于CSS (或jquery)的选择器语法，来实现非常强大和灵活的查找功能。这个select方法在Document, Element,或Elements对象中都可以使用。且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。
Select方法将返回一个Elements集合，并提供一组方法来抽取和处理结果。

1. Selector选择器概述

  • tagname: 通过标签查找元素，比如：span
  • #id: 通过ID查找元素，比如：# city_bj
  • .class: 通过class名称查找元素，比如：.class_a
  • [attribute]: 利用属性查找元素，比如：[abc]
  • [attr=value]: 利用属性值来查找元素，比如：[class=s_name]
//tagname: 通过标签查找元素，比如：span
Elements span = document.select("span");
for (Element element : span) {
    System.out.println(element.text());
}

//#id: 通过ID查找元素，比如：#city_bjj
String str = document.select("#city_bj").text();

//.class: 通过class名称查找元素，比如：.class_a
str = document.select(".class_a").text();

//[attribute]: 利用属性查找元素，比如：[abc]
str = document.select("[abc]").text();

//[attr=value]: 利用属性值来查找元素，比如：[class=s_name]
str = document.select("[class=s_name]").text();

2. Selector选择器组合使用

  • el#id: 元素+ID，比如： h3#city_bj
  • el.class: 元素+class，比如： li.class_a
  • el[attr]: 元素+属性名，比如： span[abc]
    任意组合: 比如：span[abc].s_name
  • ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
  • parent > child: 查找某个父元素下的直接子元素，比如：
  • .city_con > ul > li查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
  • parent > *: 查找某个父元素下所有直接子元素
//el#id: 元素+ID，比如： h3#city_bj
String str = document.select("h3#city_bj").text();

//el.class: 元素+class，比如： li.class_a
str = document.select("li.class_a").text();

//el[attr]: 元素+属性名，比如： span[abc]
str = document.select("span[abc]").text();

//任意组合，比如：span[abc].s_name
str = document.select("span[abc].s_name").text();

//ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
str = document.select(".city_con li").text();

//parent > child: 查找某个父元素下的直接子元素，
//比如：.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
str = document.select(".city_con > ul > li").text();

//parent > * 查找某个父元素下所有直接子元素.city_con > *
str = document.select(".city_con > *").text();
一只猪的思考
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
java HttpClient 爬虫
vamesary的博客
05-20 1216
最近在做收索引擎，需要对网页进行爬虫，课程建议使用python写爬虫，但是因为没学过python，所以尝试使用java来写爬虫。为了高效的爬取网页，使用HttpClient爬取网页，下面就来展示怎样使用HttpClient进行爬虫。
java爬虫（httpClient和Jsoup）
weixin_73375551的博客
02-15 418
springboot爬虫
Java爬虫（一）-- HttpClient，HttpClient连接池，Jsoup的使用
stalin_的博客
11-16 1613
网络爬虫就是用程序帮助我们访问网络上的资源，我们一直以来都是使用HTTP协议访问互联网的网页，网络爬虫需要编写程序，在这里使用同样的HTTP协议访问网页。 在Java中模拟HTTP协议客户端一般使用 HttpClient这个技术，来实现抓取网页数据。而由于爬虫会发送很多请求，频繁创建销毁HttpClient会大量消耗服务的资源，所以我们会使用连接池来获取HttpClient。 而Jsoup则用来解析抓取到的网页数据中的内容。下面我就为大家逐一介绍这三个爬虫的基础工具的使用。 一、 HttpClient 1、
HttpClients工具类
dsaggdsd的博客
07-31 471
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> </dependency> //只发送java发送http请求，不需要后面的依赖 <dependency> <groupId>com.alibaba</groupId> <ar.
2024年Java爬虫利器：Jsoup详细介绍与用法_java jsoup(1)
最新发布
2401_84562143的博客
04-30 1030
/ 加载新闻网站的HTML文档。// 加载图片网站的HTML文档。
Java中常见的几种HttpClient调用方式
qq_49641620的博客
10-07 4171
*** 带参数的get请求// 创建Httpclient对象 CloseableHttpClient httpclient = HttpClients . createDefault();try {// 创建uri URIBuilder builder = new URIBuilder(url);if(param!= null) {// 创建http GET请求 HttpGet httpGet = new HttpGet(uri);
HttpClient使用详解
cihongmo6452的博客
08-01 759
Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因...
HttpClient两种创建模式
qq_34267436的博客
08-04 489
java
java爬虫jsoup包
02-10
**Java爬虫与Jsoup详解** Jsoup是一款强大的开源库，专为Java设计，用于解析HTML文档并提取结构化数据。这个库的核心功能是通过DOM（文档对象模型）、CSS选择器以及类似jQuery的操作方式，使得在Java中处理HTML变得...
Java 网络爬虫新手入门详解
08-25
Java 网络爬虫新手入门详解 Java 网络爬虫新手入门详解是指使用 Java 语言来实现网络爬虫的技术，用于自动化地从互联网上爬取有价值的数据。本文将详细介绍 Java 网络爬虫新手入门的基础知识和实践经验。 Jsoup ...
WebCrawler Java爬虫
09-27
【Java爬虫技术详解】 Java爬虫是一种使用Java编程语言实现的网络爬虫，它能够自动地遍历互联网上的网页，抓取所需信息。在Java中实现爬虫，主要涉及网络编程、HTML解析和数据存储等多个领域。下面将详细介绍这些...
Java爬虫视频
08-15
- **库的引入**：常用的Java爬虫框架包括Jsoup、HttpClient、HtmlUnit等，需要通过Maven或Gradle等方式将它们添加到项目中。 2. **基本原理**： - **HTTP协议**：理解HTTP请求与响应的基本流程对于构建爬虫至关...
Java爬虫信息抓取共14页.pdf.zip
10-30
2. **Java库的使用**：Java有许多用于爬虫开发的库，如Jsoup用于解析HTML，Apache HttpClient进行网络请求，或者使用更复杂的库如WebMagic或Scrapy-Java来构建完整的爬虫框架。 3. **异步与多线程**：为了提高爬虫...
jsoup-1.14.3-bin.zip
12-23
**jsoup库详解** jsoup是一个强大的Java库，专门设计用于处理HTML文档，尤其是在实际的网络环境下。...在实际项目中，结合jsoup与其他Java库，如HttpClient进行网络请求，可以构建出强大的网页处理系统。
Java爬虫汽车之家图片
11-20
【Java爬虫技术详解】 Java爬虫是一种使用Java编程语言实现的网络爬虫技术，它主要用于自动抓取互联网上的信息，如网页内容、图片等。在本案例中，项目组利用Java爬虫从汽车之家网站获取了12万张汽车图片，用于训练...
java网络爬虫
03-21
### Java网络爬虫知识点详解 #### 一、Java网络爬虫概述 在信息化时代，互联网上的数据成为企业和个人获取信息的重要途径。网络爬虫技术作为数据抓取的关键手段，在搜索引擎优化、市场调研、数据分析等领域发挥着...
java后台访问url连接——HttpClients
热门推荐
牟云飞的博客
07-13 3万+
java后台访问url，并获取或者传递数据 1、无参数传递，以微信开发为例，后台访问url连接获得全部的人员列表 /** * 获取全部人员列表 * @return */ public JSONObject getAllEmployee(){ //获取微信号 String token=getTokenFromWx(); Str
HttpClient使用详解与实战一：普通的GET和POST请求
weixin_30673611的博客
05-08 654
简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。 HttpClient最新版本是HttpClient 4.5.3 (GA)。 官方下载：http://hc.apache.org/downloads.cgi 主要特性 基于标准、纯净的Jav...
HttpClient 中的三个超时区别及连接定时清理
二八开的博客
08-10 4982
RequestConfig requestConfig = RequestConfig.custom() .setConnectionRequestTimeout(config.connReqTimeout) //从连接池中获取连接的超时时间 //与服务器连接超时时间：httpclient会创建一个异步线程用以创建socket连接，此处设置该socket的连接超时时间
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只猪的思考

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值