java爬虫-jsoup

最新推荐文章于 2024-08-22 11:00:00 发布

张兵游勇

最新推荐文章于 2024-08-22 11:00:00 发布

阅读量8.8k

点赞数

分类专栏：爬虫文章标签： java python

本文链接：https://blog.csdn.net/qq_43623447/article/details/106312312

版权

本文介绍了jsoup作为Java HTML解析库的功能和用法，包括从URL、文件或字符串解析HTML，使用DOM和CSS选择器提取数据，以及如何修改和清理HTML文档。jsoup的亮点在于其强大的选择器，支持类似jQuery的操作，使得HTML处理变得简单高效。

摘要由CSDN通过智能技术生成

文章目录

- 内容简介
- 主要功能

内容简介

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

主要功能

从一个URL，文件或字符串中解析HTML；
使用DOM或CSS选择器来查找、取出数据；
可操作HTML元素、属性、文本；
jsoup是基于MIT协议发布的，可放心使用于商业项目。
jsoup 的主要类层次结构如下图所示：

在这里插入图片描述

接下来我们专门针对几种常见的应用场景举例说明jsoup 是如何优雅的进行HTML 文档处理的。
文档输入
jsoup 可以从包括字符串、URL地址以及本地文件来加载HTML 文档，并生成Document 对象实例。
下面是相关代码：

// 直接从字符串中输入HTML 文档
String html = "<html><head><title>开源中国社区</title></head>"
+"<body><p>这里是jsoup 项目的相关文章</p></body></html>";
Document doc = Jsoup.parse(html);
// 从URL直接加载HTML 文档
Document doc =Jsoup.connect("网址/").get();
String title = doc.title();
Document doc =Jsoup.connect("网址/")
.data("query", "Java") //请求参数
.userAgent("I’mjsoup") //设置User-Agent
.cookie