Jsoup简单使用

最新推荐文章于 2023-01-24 22:31:30 发布
最新推荐文章于 2023-01-24 22:31:30 发布
阅读量125 收藏
点赞数
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/cpongo6/article/details/96154373
版权

Jsoup简介

Jsoup简介jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

简单使用

新建maven项目添加

1
2
3
4
5
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.11.3</version>
</dependency>

首先需要使用httpclient获取网页内容需要添加

1
2
3
4
5
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.7</version>
</dependency>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

import java.io.IOException;

public class JsoupDemo {
    public static void main(String[] args) throws IOException {
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();
        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.cnblogs.com/");

        //设置请求头模拟浏览器
        httpget.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");
        CloseableHttpResponse response = httpclient.execute(httpget);
        //返回实体
        HttpEntity entity = response.getEntity();

        String html = EntityUtils.toString(entity, "utf-8");


        //解析网页
        Document document = Jsoup.parse(html);
        //获取网页中的title
        Element title = document.getElementsByTag("title").first();
        String text = title.text();
        System.out.println(text);
        
        
        //关闭流和释放系统资源
        response.close();
        httpclient.close();

    }
}

输出

1
博客园 - 代码改变世界

查找DOM元素

常用：
getElementById(String id) 根据id来查询DOM

getElementsByTag(String tagName) 根据tag名称来查询DOM

getElementsByClass(String className) 根据样式名称来查询DOM

getElementsByAttribute(String key) 根据属性名来查询DOM

getElementsByAttributeValue(String key,String value) 根据属性名和属性值来查询DOM

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class JsoupDemo {
    public static void main(String[] args) throws IOException {
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();
        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.cnblogs.com/");

        //设置请求头模拟浏览器
        httpget.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");
        CloseableHttpResponse response = httpclient.execute(httpget);
        //返回实体
        HttpEntity entity = response.getEntity();

        String html = EntityUtils.toString(entity, "utf-8");


        //解析网页
        Document document = Jsoup.parse(html);
        //获取网页中的title
        //通过tag获取
        Element title = document.getElementsByTag("title").first();
        String text = title.text();
        System.out.println(text);

        //通过id获取
        Element site_nav_top = document.getElementById("site_nav_top");
        String text1 = site_nav_top.text();
        System.out.println(text1);

        //通过class获取
        Elements post_item = document.getElementsByClass("post_item");
        for (Element e : post_item) {
            System.out.println(e.html());
        }


        // 根据属性名来查询DOM
        Elements widthElements = document.getElementsByAttribute("width");
        for (Element e : widthElements) {
            System.out.println(e.toString());
        }

        // 根据属性名和属性值来查询DOM
        Elements targetElements=document.getElementsByAttributeValue("target", "_blank");
        for(Element e:targetElements){
            System.out.println(e.toString());
        }

        
        //关闭流和释放系统资源
        response.close();
        httpclient.close();

    }
}

选择器查找DOM元素

Jsoup支持css,jquery类似的选择器语法；

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
package com.felix.project.jsoup;

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class JsoupSelectDemo {
    public static void main(String[] args) throws IOException {
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();
        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.cnblogs.com/");
        //设置请求头模拟浏览器
        httpget.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");
        CloseableHttpResponse response = httpclient.execute(httpget);
        //返回实体
        HttpEntity entity = response.getEntity();

        String html = EntityUtils.toString(entity, "utf-8");

        //解析网页
        Document document = Jsoup.parse(html);

        // 查找所有帖子DOM
        Elements select = document.select(".post_item .post_item_body h3 a");
        for (Element e : select) {
            System.out.println("博客标题：" + e.text());
            System.out.println("-------------");
        }
        // 带有href属性的a元素
        Elements hrefElements = document.select("a[href]");
        for (Element e : hrefElements) {
            System.out.println(e.toString());
            System.out.println("-------------");

    
        }
        // 查找扩展名为.png的图片DOM节点
        Elements imgElements = document.select("img[src$=.png]");
        for (Element e : imgElements) {
            System.out.println(e.toString());
            System.out.println("-------------");
        }
        // 获取tag是title的所有DOM元素
        Element element = document.getElementsByTag("title").first();
        String title = element.text();
        System.out.println("网页标题是：" + title);

        //关闭流和释放系统资源
        response.close();
        httpclient.close();

    }
}

获取属性值

1
2
3
4
5
6
7
8
9
10
// 带有href属性的a元素
Elements hrefElements = document.select("a[href]");
for (Element e : hrefElements) {
    System.out.println(e.toString());
    System.out.println("-------------");

    //获取属性值
    String href = e.attr("href");
    System.out.println("href属性值为 "+href);
}

获取如下

1
href属性值为 http://www.beian.gov.cn/portal/registerSystemInfo?recordcode=31011502001144

参考

https://jsoup.org/

https://www.open-open.com/jsoup/

六六子大顺1
关注
jsoup jar包......
09-12
自己需要来解析html来方便数据获取，本来想直接在csdn上下载一个，看见一个竟然要8积分，好坑，积分这东东，哎 ，就在官网下载了一个，大家不方便在官网下载的，可以下载看看
jsoup_demo:尝试使用 jsoup
07-08
jsoup是一个强大且易于使用的Java库，适用于HTML解析、提取数据以及简单的DOM操作。在这个"jsoup_demo"项目中，你可以看到如何连接到网页、解析HTML、选取元素以及提取数据。通过学习和实践，你将能够利用jsoup高效...
Jsoup文件下载
qq_44813449的博客
03-08 1418
package com.swb.utils; import java.io.BufferedOutputStream; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import org.jsoup.Connection; import org.jsoup.Connection.Method; import org.jsoup.Jsoup; public class JsoupGetF
Jsoup-jar包下载
热门推荐
weixin_43587055的博客
12-01 1万+
Jsoup： jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 * 快速入门： * 步骤： 1. 导入jar包 链接：https://pan.baidu.com/s/1KPQw3sYdxHaGB3pYaoGvdQ 提取码：6a7x 下载完成后解压，将jso...
Jsoup jar包 下载
weixin_45848260的博客
01-18 1729
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 主要功能 1. 从一个URL，文件或字符串中解析HTML； 2. 使用DOM或CSS选择器来查找、取出数据； 3. 可操作HTML元素、属性、文本； http://链接：https://pan.baidu.com/s/1B9YoWfjQL7tFgQdbdQDFUA 提取码：1vn7 ...
jsoup 简介、中文文档、中英对照文档 下载
寒水馨
01-24 1247
jsoup 简介、中文文档、中英对照文档 下载；jsoup、org.jsoup、中文文档、中英对照文档、下载、包含jar包、原API文档、源代码、Maven依赖信息文件、翻译后的API文档、jsoup、中英对照文档、jar包、java；jsoup是一个用于处理真实世界 HTML 的 Java 库。它提供了一个非常方便的 API，用于获取 URL 以及提取和操作数据，使用最好的 HTML5 DOM 方法和 CSS 选择器。jsoup实现了WHATWG HTML5规范，并将 HTML 解析为与现代浏览器相同的
笑话故事jsoup库使用.zip
最新发布
04-20
在这个教程中，我们将深入探讨JSoup库在Android环境下的使用，通过具体的实例来帮助开发者掌握这一强大的工具。 首先，JSoup库的主要功能包括HTML解析、DOM操作以及数据提取。它的设计灵感来源于jQuery，因此对前端...
java使用Jsoup连接网站超时的解决方法
10-26
然而，在使用Jsoup进行网页内容提取时，我们有时会遇到连接超时的问题，尤其是在网络条件不佳或者目标网站响应较慢时。本文将详细介绍如何解决Jsoup连接网站超时的问题。 首先，需要了解的是，在使用Jsoup连接网站...
jsoup简单封装
08-07
**jsoup简单封装** 在提供的博客链接中，作者分享了一个简单的jsoup封装示例。通常，这样的封装会包含以下组件： 1. **连接设置**：封装类可能包含一个方法用于设置连接参数，如URL、超时时间等。 2. **HTML获取*...
jsoup jar包
11-01
jsoup学习用的JAR包 复合页面，始终是一个开发web应用时必须面对的问题，对struts的titles有厌倦，听说sitemesh不错，尝试，原以为复杂，谁知用起来是那么地简单，太令人惊叹！ 写下试用教程： １.准备一个web项目，到sitemesh官方网站下载sitemesh包与tld文件 http://www.opensymphony.com/sitemesh/ ２.把sitemesh-2.3.jar加入classpath中，把tld放到WebContent/WEB-INF/tld/下 ３.更改web.xml文件，在适当地方加下： (1) filter配置： sitemesh com.opensymphony.module.sitemesh.filter.PageFilter sitemesh /* (2)标签库配置： sitemesh-decorator /WEB-INF/tld/sitemesh-decorator.tld sitemesh-page /WEB-INF/tld/sitemesh-page.tld ４.在WebContent/WEB-INF目录下建sitemesh.xml文件，内容如下： 5.建decorators.xml文件，内容如下： /user* ６.在目录WebContent/pages/_decorators下建layout.jsp,内容如下： Hello World!<
jsoup_jar包
02-04
使用java爬取网页上的一些信息jsoup_jar包...........................................................
jsoup-jar包
03-09
java抓取网页模块JSoup，Jsoup-jar包.
jsoup-1.14.2.jar
09-11
jsoup-1.14.2
使用 jsoup 下载图片
开心就好的专栏
04-10 1410
问题描述: 某次任务需要使用大量Logo以及背景图, 但是这些图片在某服务器上,而且打开网址后显示的图片是以链接的形式存在,如: logo1.jpg, 必须点开一张张下载,所以产生了下面的代码: import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.Input
jsoup
WSFLOVE的博客
04-26 537
引入jsoup和fastjson的maven jar包 String url="https://oapi.dingtalk.com/"; //请求数据（格式?两种） Map data = new HashMap<>(); data.put("id","1"); data.put("gg","2"); //String j...
jsoup-1.6.1.jar
03-09
jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。 jsoup的主要功能如下： 1. 从一个URL，文件或字符串中解析HTML； 2. 使用DOM或CSS选择器来查找、取出数据； 3. 可操作HTML元素、属性、文本； jsoup是基于MIT协议发布的，可放心使用于商业项目。
jsoup-1.8.1.jar
03-26
jsoup 网页解析 根据url获取网页内容，分析网页内容，java爬虫
使用jsoup高效解析HTML文档
jsoup提供了丰富的API，使得操作HTML文档变得简单且直观。 首先，我们来看如何使用jsoup解析HTML。在示例代码中，HTML字符串被赋值给变量`html`，然后通过调用`Jsoup.parse(html)`方法，我们可以将这个字符串转换...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值