网络爬虫——Jsoup解析HTML

最新推荐文章于 2024-04-27 13:19:50 发布
最新推荐文章于 2024-04-27 13:19:50 发布
阅读量1.9k 收藏 8
点赞数 3
分类专栏： 网络爬虫 文章标签： 爬虫 html jsoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cold___play/article/details/131806732
版权

目录

1、Jsoup解析HTML

Jsoup 依赖于 CSS 选择器与 jQuery 方法来操作 HTML 文件中的数据。使用 Jsoup 之前，需要了解 Jsoup 中的 Node、Element 和 Document 的概念。

  • 节点(Node):HTML 文件中所包含的内容都可以看成一个节点。节点有很多种类 型，如属性(Attribute)节点、注释(Note)节点、文本(Text)节点和元素(Element) 节点等。解析 HTML 文件的过程，实际上就是对节点进行操作的过程。
  • 元素(Element):节点的子集，所以一个元素也是一个节点。
  • 文档(Document):整个 HTML 文档的源码内容。

1.1解析静态HTML文件

给定 HTML 字符串，可以使用 org.jsoup.Jsoup 类中的 parse(String html)方法，将 String 类型的 HTML 文件转化成 Document 类型。之后，可以使用 org.jsoup.nodes.Element 类 中的 select(String cssQuery)方法定位到所要解析的元素。

public class JsoupParseStaticFile {
    public static void main(String[] args) {
        //HTML静态文件
        String html = "<html><body><div id=\"w3school\"> <h1>浏览器 脚本教程</h1> <p><strong>从左侧的菜单选择你需要的教程!</strong></p> </div>"
                + "<div> <div id=\"course\"> <ul> <li><a href=\"/ js/index.asp\" title=\"JavaScript 教 程 \">JavaScript</a></li> </ul> </div> </body></html>";
        //转化成Document
        Document document = Jsoup.parse(html);
        //基于CSS选择器获取元素
        Element element = document.select("div[id=w3school]").get(0);
        System.out.println("元素内容为:\n" + element);
    }
}

元素内容为:
<div id="w3school"> 
 <h1>浏览器 脚本教程</h1> 
 <p><strong>从左侧的菜单选择你需要的教程!</strong></p> 
</div>

1.2、解析URL加载的Document

指定 URL，可先使用 Jsoup 请求 URL，获取对应的 Document。之后，再使用 select (String cssQuery)方法定位要解析的内容。

public class JsoupParseURLDoc {
    public static void main(String[] args) throws IOException {
        //获取URL对应的Document
        Document doc = Jsoup.connect("https://m.runoob.com/java/")
                .timeout(5000)
                .get();
        //基于CSS选择器获取元素，这里换了一种方式
        Element element = doc.select("#content > div:nth-child(1) > a > h2").get(0);
        System.out.println("输出解析的元素内容为:");
        System.out.println(element);
        //从Element提取内容(抽取一条Node对应的信息)
        String text1 = element.text();
        System.out.println("文本信息：" + text1);
        String className = element.className();
        System.out.println("class：" + className);
    }
}

输出解析的元素内容为:
<h2 class="entry-title">Java 教程</h2>
文本信息：Java 教程
class：entry-title

1.3、Jsoup遍历元素

org.jsoup.nodes.Element 类中的 select(String cssQuery)方法返回的是 Elements 对象，即匹配得到 cssQuery 对应的所有元素集合。org.jsoup.select.Elements 类继承 了 ArrayList，所以，可以按照操作 ArrayList 集合的方式操作 Elements 对象，如获取某元素可使用 get(int index)方法。 同样，也可以按照遍历 ArrayList 集合的方式遍历 Elements 对象。

在这里插入图片描述

遍历获取菜鸟教程的课程URL，页面HTML如下：
在这里插入图片描述

public class JsoupParseEveryEle {
    public static void main(String[] args) throws IOException {
        //获取URL对应的Document
        Document doc = Jsoup.connect("https://www.runoob.com").timeout(5000).get();
        //层层定位到要解析的内容，可以发现包含多个li元素
        Elements elements = doc.select("body > div.container.main > div > div.col.middle-column-home > div.codelist.codelist-desktop.cate1").select("a");
        //遍历每一个li节点
        for (Element ele : elements) {
            String title = ele.select("h4").text();
            String describe = ele.select("strong").text();
            String url = ele.attr("href");
            System.out.println("标题为：" + title);
            System.out.println("描述为：" + describe);
            System.out.println("URL为：" + url);
            System.out.println();
        }
    }
}

标题为：【学习 HTML】
描述为：HTML，即超文本标记语言（Hyper Text Markup Language）
URL为：//www.runoob.com/html/html-tutorial.html

标题为：【学习 HTML5】
描述为：HTML5 是下一代 HTML 标准
URL为：//www.runoob.com/html/html5-intro.html

标题为：【学习 CSS】
描述为：层叠样式表（Cascading StyleSheet）
URL为：//www.runoob.com/css/css-tutorial.html

标题为：【学习 CSS3】
描述为：CSS3是CSS技术的升级版本
URL为：//www.runoob.com/css3/css3-tutorial.html

标题为：【学习 Bootstrap3】
描述为：Bootstrap，来自 Twitter，是目前最受欢迎的前端框架
URL为：//www.runoob.com/bootstrap/bootstrap-tutorial.html

标题为：【学习 Bootstrap4】
描述为：Bootstrap4 前端框架
URL为：//www.runoob.com/bootstrap4/bootstrap4-tutorial.html

标题为：【学习 Bootstrap5】
描述为：Bootstrap5 目前是 Bootstrap 的最新版本
URL为：//www.runoob.com/bootstrap5/bootstrap5-tutorial.html

标题为：【学习 Font Awesome】
描述为：Font Awesome 是一套绝佳的图标字体库和CSS框架。
URL为：//www.runoob.com/font-awesome/fontawesome-tutorial.html

标题为：【学习 Foundation】
描述为：Foundation 用于开发响应式的 HTML, CSS and JavaScript 框架
URL为：//www.runoob.com/foundation/foundation-tutorial.html

1.4、Jsoup获取元素的其它方法

方法描述
Element getElementById(String id)基于 id 获取元素
Elements getElementsByTag(String tagName)基于标签名称获取元素集合
Elements getElementsByAttribute(String key)基于属性名称获取元素集合
Elements getElementsByClass(String className)基于类名获取元素集合
Elements getElementsByAttributeStarting(StringkeyPrefix)通过属性前缀获取元素集合
Elements getElementsByAttributeValue(String key,String value)基于属性和属性值获取元素集合
Elements getElementsByAttributeValueStarting(String key, String valuePrefix)基于属性和属性值前缀获取元素集合
Elements getElementsByAttributeValueEnding(String key, String valueSuffix)基于属性和属性值后缀获取元素集合
Elements getElementsByAttributeValueContaining(String key, String match)基于属性与属性值(包含某字符串)获取元素集合
Elements getElementsByAttributeValueMatching(String key, String regex)基于属性与属性值(正则表达式)获取元素集合
Elements siblingElements()获取兄弟元素集合，如果没有返回空列表
Element nextElementSibling()获取下一个兄弟元素，如果没有返回 null
Element previousElementSibling()获取上一个兄弟元素，如果没有返回 null
Element firstElementSibling()获取第一个兄弟元素
Element lastElementSibling()获取最后一个兄弟元素
Elements children()获取子元素集合

2、支持Xpath语法的JsoupXpath

Jsoup 在选择节点或元素时，支持的是 CSS 选择器，而不支持 Xpath 语法。而 JsoupXpath 则是在 Jsoup 的基础上扩展的支持 Xpath 语法的 HTML 文件解析器。
使用 JsoupXpath 解析 HTML 文件之前，需要在 Maven 工程的 pom.xml 文件中添 加 JsoupXpath 对应的 dependency。

<dependency> 
	<groupId>cn.wanghaomiao</groupId>
	<artifactId>JsoupXpath</artifactId>
	<version>2.2</version> 
</dependency>

在 JsoupXpath 解析 HTML 时，可以先通过 JXDocument 类中提供的 4 种方法实例化 JXDocument 对象，如程序所示。这四种方法传递的参数分别是 Document 类型 的 HTML 文档、Elements 类型的元素集合、String 类型的 HTML 字符串和 String 类型 的 URL。

public static JXDocument create(Document doc){ 
	Elements els = doc.children();
	return new JXDocument(els);
}

public static JXDocument create(Elements els){
	return new JXDocument(els); 
}

public static JXDocument create(String html){ 
	Elements els = Jsoup.parse(html).children(); 
	return new JXDocument(els);
}

public static JXDocument createByUrl(String url){
	Elements els; 
	try {
		els = Jsoup.connect(url).get().children(); 
	} catch (Exception e) {
		throw new XpathParserException("url ",e); 
	}
	return new JXDocument(els); 
}

示例，依旧解析课程URL

public class JsoupXpathDemo {
    public static void main(String[] args) {
        //基于URL创建
        JXDocument jxd = JXDocument.createByUrl("https://www.runoob.com");
        //Xpath语句
        String xpathStr = "//div[1]/a";
        //获取节点集合
        List<JXNode> list = jxd.selN(xpathStr);
        //遍历节点
        for (JXNode node : list) {
            String title = node.sel("./h4").get(0).asElement().text();
            String describe = node.sel("./strong").get(0).asElement().text();
            String url = node.asElement().attr("href");
            System.out.println("标题为：" + title);
            System.out.println("描述为：" + describe);
            System.out.println("URL为：" + url);
            System.out.println();
        }
    }
}

标题为：【学习 HTML】
描述为：HTML，即超文本标记语言（Hyper Text Markup Language）
URL为：//www.runoob.com/html/html-tutorial.html

标题为：【学习 HTML5】
描述为：HTML5 是下一代 HTML 标准
URL为：//www.runoob.com/html/html5-intro.html

标题为：【学习 CSS】
描述为：层叠样式表（Cascading StyleSheet）
URL为：//www.runoob.com/css/css-tutorial.html

标题为：【学习 CSS3】
描述为：CSS3是CSS技术的升级版本
URL为：//www.runoob.com/css3/css3-tutorial.html

标题为：【学习 Bootstrap3】
描述为：Bootstrap，来自 Twitter，是目前最受欢迎的前端框架
URL为：//www.runoob.com/bootstrap/bootstrap-tutorial.html

标题为：【学习 Bootstrap4】
描述为：Bootstrap4 前端框架
URL为：//www.runoob.com/bootstrap4/bootstrap4-tutorial.html

标题为：【学习 Bootstrap5】
描述为：Bootstrap5 目前是 Bootstrap 的最新版本
URL为：//www.runoob.com/bootstrap5/bootstrap5-tutorial.html

标题为：【学习 Font Awesome】
描述为：Font Awesome 是一套绝佳的图标字体库和CSS框架。
URL为：//www.runoob.com/font-awesome/fontawesome-tutorial.html

标题为：【学习 Foundation】
描述为：Foundation 用于开发响应式的 HTML, CSS and JavaScript 框架
URL为：//www.runoob.com/foundation/foundation-tutorial.html
吴声子夜歌
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Jsoup解析HTML实例及文档方法详解
10-26
主要介绍了Jsoup如何解析一个HTML文档、从文件加载文档、从URL加载Document等方法，对Jsoup常用方法做了详细讲解，最近提供了一个示例供大家参考使用DOM方法来遍历一个文档从元素抽取属性，文本和HTML获取所有链接
使用Jsoup解析HTML页面
Kiven's blog
09-01 1454
在写Android程序时，有时需要解析HTML页面，特别是那类通过爬网站抓取数据的应用，比如：天气预报等应用。如果是桌面应用可以使用htmlparser这个强大的工具，但是在Android平台上使用会出现错误；另一种办法是使用正则表达式来抽取数据；再有一个办法是纯字符串查找定位来实现。文本将要介绍的是使用Jsoup这个开源的解析器来实现。 Jsoup既可以通过一个url网址，也可以通过存储h
使用JSOUP处理HTML文档
weixin_34303897的博客
01-04 444
一、   JSOUP简介 在以往用java来处理解析HTML文档或者片段时，我们通常会采用htmlparser（http://htmlparser.sourceforge.net/）这个开源类库。现在我们有了JSOUP，以后的处理HTML的内容只需要使用JSOUP就已经足够了，JSOUP有更快的更新，更方便的API等。 jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址...
Jsoup（HTML解析）
qq_26786441的博客
05-19 1208
Jsoup，解析HTML
Jsoup解析Html
u010585448的专栏
08-26 720
Jsoup是采用java编写的解析html文件的第三方库，使用Jsoup提供的API我们可以很方便的解析html文件。下面来介绍一下如何使用jsoup解析html。 1.首先我们要了解一下html的dom文档结构DOM节点介绍，下面是我截取的html文件的部分，会有助于理解下面的代码 2.使用jsoup我们可以解析本地文件中的html以及网络获取的html。网络获取的html居多，所以
Jsoup
热门推荐
底层码农
03-30 1万+
Jsoup 入门
使用Jsoup来解析HTML
kerongao的博客
11-17 3246
使用Jsoup来解析HTML 1. 概要 Jsoup是一个开源Java库，主要用于从HTML提取数据。允许您操作和输出HTML，它有稳定的开发线、优秀的文档和流畅灵活的API，Jsoup还可以用于解析和构建XML。 在本教程中，我们将使用Spring博客演示一个抓取案例，它演示了jsoup的几个特性: 加载:抓取和解析HTML到一个文档 筛选:选择所需的数据到元素中并遍历它 提取:获取节点的属性、文本和HTML 修改:添加/编辑/删除节点并编辑它们的属性 2. Maven 依赖 Jsoup Maven
jsoup 读取解析html,jsoup解析HTML
weixin_39896256的博客
06-20 489
Connection conn =Jsoup.connect(String url);conn.data("txtBill", key);//设置关键字查询字段Document doc = null;doc= conn.timeout(100000).post();//设置请求类型为post型或者get型，超时100000毫秒results = doc.select(TagName);//处理返回...
jsoup 是一款 Java 的HTML 解析器
xtpebg的专栏
03-21 141
  jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。请参考： http://jsoup.org/          jsoup的主要功能如下：         从一个URL，文件或字符串中解析HTML；       使用D...
深入理解Jsoup：Java的HTML解析神器
djmacdtr的博客
05-13 1797
在这篇文章中，我们深入探讨了Jsoup，这是一个用于处理HTML的强大Java库。我们首先了解了Jsoup的基本概念，然后通过实际示例展示了如何使用Jsoup来解析HTML，提取元素和数据。我们进一步探讨了Jsoup的常用方法，如连接和获取文档，查询和提取元素等。此外，我们还讨论了Jsoup在网络爬虫中的应用，并展示了一个简单的网络爬虫示例。最后，我们对Jsoup进行了横向对比，与JDOM、DOM4J、HTMLUnit等其他HTML处理技术进行了比较。
Java爬虫入门——使用Jsoup解析HTML页面.zip
03-08
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
利用jsoup解析html
12-22
　jsoup 是一款 Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。jsoup 的主要功能如下： 　（1）从一个 URL，...
jsoup HTML解析器-其他
06-12
jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。 jsoup的主要功能如下： 从一个URL，文件或字符串中...
使用jsoup解析html的table中的文本信息实例
10-18
今天小编就为大家分享一篇使用jsoup解析html的table中的文本信息实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Android实战——jsoup实现网络爬虫，糗事百科项目的起步
02-12
Android实战——jsoup实现网络爬虫，糗事百科项目的起步
python爬虫插件XPath的安装
weixin_52890053的博客
04-25 310
小白也能懂的python插件XPath安装，简洁明了
2024最新版JavaScript逆向爬虫教程-------基础篇之深入JavaScript运行原理以及内存管理
Amo Xiang的博客
04-24 790
深入学习JavaScript运行原理以及JS内存管理，为后续函数，闭包，作用域的学习打下坚实基础。函数，闭包，作用域，this指向等问题在后续JS逆向的学习中非常重要，如果想要学好这些知识点，就必须先了解JavaScript的运行原理。
Python爬虫-BeautifulSoup解析
最新发布
weixin_53333436的博客
04-27 690
是一个用于解析 HTML 和 XML 文档的 Python 库。它提供了一种灵活且方便的方式来导航、搜索和修改树结构或标记文档。这个库非常适合网页抓取和数据提取任务，因为它允许你以非常直观的方式查询和操作文档内容。
Python网络爬虫之数美滑块的加密及轨迹分析
这家伙很懒，什么都没有留下
04-23 1349
数美滑块验证是一种基于行为生物识别技术的验证码，它通过分析用户的拖动轨迹、速度、加速度等参数来判断操作的真实性。与传统的字符验证码相比，数美滑块验证具有更高的安全性和用户体验。它采用了多种加密手段，使得传统的爬虫技术难以突破。在数美滑块验证中，关键参数如滑块ID、背景图片URL、验证接口等通常经过混淆和加密处理。这些参数在前端JS代码中动态生成，使得直接分析静态页面难以获取有效信息。此外，数美滑块验证还采用了JS代码动态执行的方式，即在运行时根据特定条件生成或修改代码，进一步增强了安全性。
jsoup解析html
06-03
JSoup是Java语言的一个HTML解析器，它可以方便地从HTML文档中提取数据。 使用JSoup解析HTML的基本步骤如下： 1. 导入JSoup的jar包。 2. 创建一个Document对象，该对象表示整个HTML文档。 ```java Document doc = Jsoup.connect("http://example.com/").get(); ``` 3. 从Document对象中获取元素。 ```java Element content = doc.getElementById("content"); ``` 4. 从元素中获取数据。 ```java String text = content.text(); ``` JSoup还提供了许多其他的方法来获取和操作HTML元素，例如根据标签名、类名、属性等进行选择，以及修改HTML元素的属性和内容等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值