Jsoup——html/xml解析器

最新推荐文章于 2023-07-17 16:58:52 发布
最新推荐文章于 2023-07-17 16:58:52 发布
阅读量274 收藏
点赞数
分类专栏： xml Java 文章标签： dom xml java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/J_Du_pro/article/details/106434262
版权
Java 同时被 2 个专栏收录
24 篇文章 0 订阅
订阅专栏
xml
2 篇文章 0 订阅
订阅专栏

概念

  • jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

快速入门

  • 步骤：
    1. 导入Jsoup的jar包
    2. 获取Document对象
    3. 获取对应标签Element对象
    4. 获取数据
  • 代码：
  • xml文档
<?xml version="1.0" encoding="utf-8" ?>

<students>
    <student number="duing-001">
        <name>tom</name>
        <age>18</age>
        <sex>male</sex>
    </student>
    <student number="duing-002">
        <name>jack</name>
        <age>18</age>
        <sex>female</sex>
    </student>
</students>
  • Java解析代码：
public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        //2.获取Document对象，根据xml文档获取
        //2.1获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.2解析xml文档，加载文档进内存，获取dom树--->Document
        Document document = Jsoup.parse(new File(path), "utf-8");
        //3.获取元素对象
        Elements elements = document.getElementsByTag("name");

        System.out.println(elements.size());
        //3.1获取第一个name的Element对象
        Element element = elements.get(0);
        //3.2获取数据
        String name =  element.text();
        System.out.println(name);
    }
}

- 解析结果：

在这里插入图片描述

Jsoup对象

  • Jsoup：工具类，可以解析html或xml文档，返回Document
    • parse：静态方法，解析html或xml文档，返回Document
      • parse​(File in, String charsetName)：解析html或xml文件的（上面案例已演示）
      • parse​(String html)：解析html或xml字符串的
      • parse​(URL url, int timeoutMillis)：通过网络路径获取指定的html或xml的文档对象
public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        URL url = new URL("https://baidu.com");
        Document doc = Jsoup.parse(url, 1000);
        System.out.println(doc);
    }
}

在这里插入图片描述

Document对象

  • Document：文档对象，代表内存中的dom树
    • 获取Element对象
      • getElementById​(String id)：根据id属性值获取唯一的元素对象
      • getElementsByTag​(String tagName)：根据标签名称获取元素对象集合
      • getElementsByAttribute​(String key)：根据属性名称获取元素对象集合
      • getElementsByAttributeValue​(String key, String value)：根据对相应的属性名和属性值获取元素对象集合
  • student.xml文档
<?xml version="1.0" encoding="utf-8" ?>

<students>
    <student number="duing_001">
        <name id="id01">tom</name>
        <age>18</age>
        <sex>male</sex>
    </student>
    <student number="duing_002">
        <name>jack</name>
        <age>18</age>
        <sex>female</sex>
    </student>
</students>
  • Java解析代码：
public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        //1.获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.获取Document对象
        Document doc = Jsoup.parse(new File(path), "utf-8");
        //3.获取元素对象
        //3.1获取所有student对象
        Elements elements = doc.getElementsByTag("student");
        System.out.println(elements);

        System.out.println("------------------------");

        //3.2获取属性名为id的元素对象们
        Elements elements1 = doc.getElementsByAttribute("id");
        System.out.println(elements1);
        System.out.println("------------------------");
        //3.3获取number属性值为duing_002的元素对象们
        Elements elements2 = doc.getElementsByAttributeValue("number","duing_002");
        System.out.println(elements2);
        System.out.println("------------------------");
        //3.4获取id属性值为id01的元素对象
        Element element = doc.getElementById("id01");
        System.out.println(element);
    }
  • 解析结果：
    在这里插入图片描述
    在这里插入图片描述

Element对象

  • Elements：元素Element对象的集合，可以当做ArrayList<Element>来使用
  • Element：元素对象
    1. 获取子元素对象
      • getElementById​(String id)：根据id属性值获取唯一的元素对象
      • getElementsByTag​(String tagName)：根据标签名称获取元素对象集合
      • getElementsByAttribute​(String key)：根据属性名称获取元素对象集合
      • getElementsByAttributeValue​(String key, String value)：根据对相应的属性名和属性值获取元素对象集合
    2. 获取属性值
      • String attr​(String key)：根据属性名称获取属性值
    3. 获取文本内容（注意两者的区别）
      • String text()：获取所有字标签的纯文本文本内容
      • String html()：获取标签体的所有内容（包括子标签的标签和文本内容）
  • student.xml文档：
<?xml version="1.0" encoding="utf-8" ?>

<students>
    <student number="duing_001">
        <name id="id01">
            <xing>zhang</xing>
            <ming>san</ming>
        </name>
        <age>18</age>
        <sex>male</sex>
    </student>
    <student number="duing_002">
        <name>jack</name>
        <age>18</age>
        <sex>female</sex>
    </student>
</students>
  • Java解析代码：
public class JsoupDemo3 {
    public static void main(String[] args) throws IOException {
        //1.获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.通过Document对象获取name标签，获取所有的name标签
        Document doc = Jsoup.parse(new File(path), "utf-8");
        Elements elements = doc.getElementsByTag("name");
        System.out.println(elements.size());
        System.out.println("-----------------");
        //通过Element对象获取字标签对象
        Element element_student = doc.getElementsByTag("student").get(0);
        Elements ele_name =element_student.getElementsByTag("name");
        System.out.println(ele_name.size());
        System.out.println("-----------------");
        //获取student对象的属性值
        String key = element_student.attr("number");
        System.out.println(key);
        System.out.println("-----------------");
        //获取文本内容
        String text = ele_name.text();
        String html = ele_name.html();
        System.out.println(text);
        System.out.println("-----------------");
        System.out.println(html);
    }
  • 解析结果：

在这里插入图片描述

Node：节点对象

  • 是Document和Element的父类
  • 不做重点学习

快捷查询方式

  1. selector：选择器
    • 使用的方法：Elements select​(String cssQuery)
      • 语法：参考Selector类中定义的语法
  • 代码：
  • xml文档
<?xml version="1.0" encoding="utf-8" ?>

<students>
    <student number="duing_001">
        <name id="id01">
            <xing>zhang</xing>
            <ming>san</ming>
        </name>
        <age>18</age>
        <sex>male</sex>
    </student>
    <student number="duing_002">
        <name id="id02">jack</name>
        <age>18</age>
        <sex>female</sex>
    </student>
</students>
  • selector解析
public class JsoupDemo4 {
    public static void main(String[] args) throws IOException {
        //1.获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.通过Document对象获取name标签，获取所有的name标签
        Document doc = Jsoup.parse(new File(path), "utf-8");
        //3.查询name标签
        Elements elements = doc.select("name");
        System.out.println(elements);
        System.out.println("----------------");
        //4.查询id值为id02的元素
        Elements elements1 = doc.select("#id02");
        System.out.println(elements1);
        System.out.println("----------------");
        //5.获取student标签并且number属性值为duing_001的age子标签
        //5.1获取student标签并且number属性值为duing_001
        Elements elements2 = doc.select("student[number='duing_001']");
        System.out.println(elements2);
        System.out.println("----------------");
        //5.2获取student标签并且number属性值为duing_001的age子标签
        Elements elements3 = doc.select("student[number='duing_001'] > age");
        System.out.println(elements3);
    }
}
  • 解析结果：
    在这里插入图片描述
    在这里插入图片描述
  1. XPath：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。
    • 使用Jsoup的XPath需要额外导入jar包
    • 使用的方法：sel、selN、selNOne、selOne
    • 查询w3cshool参考手册，使用XPath语法完成查询
  • xml文档如上
  • XPath解析：
public class JsoupDemo5 {
    public static void main(String[] args) throws IOException, XpathSyntaxErrorException {
        //1.获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        path = java.net.URLDecoder.decode(path, "utf-8");//路径中文出现乱码，需要重新编码
        //2.通过Document对象获取name标签，获取所有的name标签
        Document doc = Jsoup.parse(new File(path), "utf-8");
        //3.根据Document对象，创建JXDocument对象
        JXDocument jxDocument = new JXDocument(doc);
        //4.结合XPath语法查询
        //4.1查询所有的student标签
        List<JXNode> jxNodes = jxDocument.selN("//student");
        for(JXNode jxNode:jxNodes){
            System.out.println(jxNode);
        }
        System.out.println("----------------");
        //4.2查询所有student标签下的name标签
        List<JXNode> jxNodes1 = jxDocument.selN("//student/name");
        for(JXNode jxNode:jxNodes1){
            System.out.println(jxNode);
        }
        System.out.println("----------------");
        //4.3查询student标签下带有id属性的name标签
        List<JXNode> jxNodes2 = jxDocument.selN("//student/name[@id]");
        for(JXNode jxNode:jxNodes2){
            System.out.println(jxNode);
        }
        System.out.println("----------------");
        //4.3查询student标签下带有id属性的name标签，并且id属性为id02
        List<JXNode> jxNodes3 = jxDocument.selN("//student/name[@id='id02']");
        for(JXNode jxNode:jxNodes3){
            System.out.println(jxNode);
        }
    }
}
  • 解析结果：
    在这里插入图片描述
    在这里插入图片描述
Duing_
关注
专栏目录
使用Jsoup来解析HTML
kerongao的博客
11-17 3334
使用Jsoup来解析HTML 1. 概要 Jsoup是一个开源Java库，主要用于从HTML提取数据。允许您操作和输出HTML，它有稳定的开发线、优秀的文档和流畅灵活的API，Jsoup还可以用于解析和构建XML。 在本教程中，我们将使用Spring博客演示一个抓取案例，它演示了jsoup的几个特性: 加载:抓取和解析HTML到一个文档 筛选:选择所需的数据到元素中并遍历它 提取:获取节点的属性、文本和HTML 修改:添加/编辑/删除节点并编辑它们的属性 2. Maven 依赖 Jsoup Maven
配置文件——XML
LiLiLiLaLa的博客
05-15 755
1.XML概念 XML：Extensible Markup Language，可扩展标记语言 可扩展：标签都是自定义的，想写啥写啥，只要符合标签的命名 2.XML功能——存储数据 XML作为配置文件 数据存起来后可以在网络中传输（XML是纯文本的，它和语言和平台都无关） 3.XML和HTML区别 扩展——W3C：万维网联盟，94年创建，发布了许多影响深远的web技术标准及实施指南，其中就 包...
HTML/XML 解析器类库.zip
09-23
HTML/XML 解析器类库.zip,Kanna(鉋) is an XML/HTML parser for Swift.
lxml：python 的HTML/XML的解析器
penncho的博客
08-21 465
官网文档：https://lxml.de/ 原创：https://blog.csdn.net/qq_35208583/article/details/89041912 使用前，需要安装安 lxml 包 功能： 1.解析HTML：使用 etree.HTML(text) 将字符串格式的 html 片段解析成 html 文档 2.读取xml文件 3.etree和XPath 配合使用 lxml-etree的使用：加载本地中的html etree.HTML(text)使用 from lxml import etr
python解析html xml最好的模块_Python的xml/html解析器选择
weixin_39719165的博客
11-29 194
最近用pytho帮别人做事，涉及到一些html/xml的解析工作（在我们这个世纪，无论你喜欢的编程语言是啥，解析html和xml多少会涉及一点）。当时因为对数百篇日志的数据量没有概念，所以专门对常见的python解析器做了一个小比较。其实比较不同的解析器对html的处理能力是有点麻烦的，因为它们处理的步骤并不完全相同的：1. 解析HTML：能读入2. 解析为某个对象：能处理3. 序列化：能输出各个...
XML和HTML解析
zhuma的编程学习
05-20 1936
所谓的解析，实质就是在一段XML或HTML代码中提取我们想要的信息，方法是XML或HTML它们都有自己的标识——开始、结束还是数据。利用python提供的解析器可以根据这些标识，利用相应的函数（方法）提取出信息，有点正则表达式的味道！ 一、XML Python中使用SAX解析XML非常简洁，SAX 是XML 的简单 API。 基于事件的语法分析器将(分析出来的)事件发送给应用程序。这
解析xml文档构造html,使用XML解析器解析html文档
weixin_42292855的博客
06-04 280
您可以尝试使用XML解析器解析HTML文件,但它可能会失败.原因是HTML文档可以具有XML解析器无法理解的以下HTML功能.>从不使用结束标记且不使用XML所谓的“自闭标签语法”的元素;例如,< br>,< Meta>,< link>和< img> (也称为虚空元素)>不需要结束标记的元素;例如,< p> &LT峰;...
基于Java的HTML解析器 jsoup.zip
06-15
**Java HTML解析器——jsoup详解** 在现代Web开发中，处理HTML文档是常见的任务，无论是从网页抓取数据、解析HTML结构还是进行自动化测试，都需要高效且可靠的HTML解析工具。`jsoup`是一个强大的Java库，专为处理...
jsoup-jsoup-1.12.2.zip
11-09
它使用了一个近似于浏览器的HTML解析器，可以理解网页的实际布局和元素关系。 2. **DOM操作**：如同JavaScript中的DOM操作，jsoup提供了类似的方法来查找、遍历和修改HTML元素。例如，你可以使用CSS选择器来选取...
Jsoup简单例子——爬取网页内的邮箱
wl_Honest的博客
10-17 880
一、前言 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 主要功能：     1）从一个URL，文件或字符串中解析HTML     2）使用DOM或CSS选择器来查找、取出数据     3）可操作HTML元素、属性、文本 二、案例 这里以...
python xml html 解析工具（代码）
04-25
python处理xml很实用好用的工具 主要有BeautifulSoup和BeautifulStoneSoup，import就好，前者处理html，后者处理xml 具体使用方法可以上网查
java通过Jsoup爬取网页过程详解
10-16
主要介绍了java通过Jsoup爬取网页过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
解析html xml最好的模块,解析--import--htmllib--xml
weixin_33623088的博客
07-12 285
--import ConfigParser 模块------解析配置文件---------------------------------------------------------------------test.conf内容:[first]w = 2v: 3c =11-3[second]sw=4test: hello测试配置文件中有两个区域，first和second，另外故意添加一些空格、...
网络爬虫——Jsoup的使用
最新发布
吴声子夜歌的博客
07-17 3368
Jsoup 是一款基于 Java 语言的开源项目，主要用于请求 URL 获取网页内容、解析 HTML 和 XML 文档。使用 Jsoup 可以非常轻松地构建一些轻量级网络爬虫。
【Android入门到项目实战-- 10.1】—— jsoup的详细使用教程
张修宇的博客
05-08 3327
Android，jsoup的详细教程，jsoup可以实现爬虫效果，获取网页文字、图片、视频等。如何使用jsoup提取网页文字和图片？爬取文字和图片。
java解析html_Java解析Html
热门推荐
weixin_42336958的博客
02-12 1万+
最近用到了Java解析Html的一个库Jsoup, 这儿是官网, 在此分享给大家，有这方面需要的朋友可以试一试。有三个类需要我们了解，分别是Document，Elements，Element大至用法有两步第一步:加载html,，这儿提供两种方式，一种是从本地加载，一种是从网上直接加载。从本地加载:String html = "YOU HTML STRING";Document doc = Jsou...
BeautifulSoup 优秀的html和xml文档解析工具，python简易实现
Xiongerwudi的博客
10-12 1391
conda install beautifulsoup4   ||  pip          #控制台下安装 import 模块名 ，类 或子模块 || from 模块名  import 类或子模块名   from bs4 import BeautifulSoup as bs 例：     偶尔会出现has_key不支持，可以使用has_attr   例：微信开...
使用Java页面分析框架Jsoup抓取微信页面内容
MAYouHeng的博客
05-23 624
1.Jsoup简介: Jsoup是一款HTML解析框架,它可以连接URL地址并获取HTML文本内容,Jsoup提供了强大的API,可以通过类似Jquery的形式对DOM、标签、类名等获取页面内的数据元素. 2.上案例: package com.lnbdy.sms.controller; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.jsoup.Jsoup; import
lxml.html 中几种解析器的区别
司开星的专栏
08-12 1万+
lxml.html 中几种解析器的区别 lxml 自2.0版本起有了专门用于处理html的模块lxml.html, 模块中包含几种解析html的方式, 以载入html文档为例: from lxml.html import fromstring, soupparser, html5lib html = 'x=1' a = fromstring(html) b = soupparser.fro
jsoup中文教程：HTML解析与数据提取
+ "<body><p>Parsed HTML into a doc.</p></body></html>"; Document doc = Jsoup.parse(html); ``` 解析器能处理不完整的HTML，如未闭合的标签、隐式标签等，并生成一个规范的文档结构。 2. **数据抽取** - *...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值