Ⅰ、Jsoup 介绍
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS 以及类似于jQuery的操作方法来取出和操作数据。
主要功能
- 从一个URL，文件或字符串中解析
HTML； - 使用DOM或CSS选择器来查找、取出数据；
- 可操作HTML元素、属性、文本；
文档输入
jsoup 可以从包括 字符串、URL地址 以及 本地文件 来加载HTML 文档，并生成Document 对象实例。
✅ 相关代码 :
// 直接从字符串中输入HTML 文档
String html = "开源中国社区 这里是jsoup 项目的相关文章";
Document doc = Jsoup.parse(html);
// 从URL直接加载HTML 文档
Document doc =Jsoup.connect("网址/").get();
String title = doc.title();
// 从URL直接加载HTML并可以设置请求信息
Document doc =Jsoup.connect("网址/")
.data("query", "Java") //请求参数
.userAgent("I’mjsoup") //设置User-Agent
.cookie("auth", "token") //设置cookie
.timeout(3000) //设置连接超时时间
.post(); //使用POST方法访问URL
// 从文件中加载HTML 文档
File input = new File("D:/test.html");
Document doc = Jsoup.parse(input,"UTF-8","网址/");
请大家注意最后一种HTML 文档输入方式中的parse 的第三个参数，为什么需要在这里指定一个网址呢（虽然可以不指定，如第一种方法）？因为HTML 文档中会有很多例如链接、图片以及所引用的外部脚本、css文件等，而第三个名为baseURL 的参数的意思就是当HTML 文档使用相对路径方式引用外部文件时，jsoup会自动为这些URL 加上一个前缀，也就是这个baseURL。
Ⅱ、使用Jsoup
引入 jsoup maven 仓库
<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.16.1</version>
</dependency>
2.1) 从 URL获取 HTML 来解析 （常用）
使用 Jsoup.connect(String url).get()方法获取（只支持 http 和 https 协议）:
// 方式一
Document document = Jsoup.connect("http://www.baidu.com/").get();
// 方式二
Document parse = Jsoup.parse(new URL("http://www.baidu.com/"), 1000 * 10);
其中Jsoup.connect(“xxx”) 方法返回一个org.jsoup.Connection对象。
在 Connection 对象中，我们可以执行get和post来执行请求。但在执行请求之前，我们可以使用Connection对象来设置一些请求信息。比如：头信息，cookie，请求等待时间，代理等等模拟浏览器行为。
Document document = Jsoup.connect("http://www.baidu.com/")
.data("query", "Java")
.userAgent("Mozilla")
.cookie("auth","token")
.timeout(3000)
.post();
2.2) 从文件中获取html来解析
可以使用静态的Jsoup.parse(File in, String charsetName) 方法从文件中加载文档。其中in表示路径，charsetName表示编码方式，示例代码：
Document path = Jsoup.parse(new File("path"), "utf-8");
2.3) 从字符串中文本中获得html来解析
String html = "<html><head><title>First parse</title></head>"
+ "<body><p>Parsed HTML into a doc.</p></body></html>";
Document text = Jsoup.parse(html);
System.out.println(doc);
2.4）从<body>片断中获取文档对象
用Jsoup.parseBodyFragment(String html)方法.
String html = "<p>Lorem ipsum.</p>";
Document doc = Jsoup.parseBodyFragment(html);
// doc 此时为：<body> <p>Lorem ipsum.</p></body>
Element body = doc.body();
System.out.println(body);
parseBodyFragment 方法创建一个新的文档，并插入解析过的HTML到body元素中。假如你使用正常的 Jsoup.parse(String html) 方法，通常也能得到相同的结果，但是明确将用户输入作为 body 片段处理是个更好的方式。
Document.body() 方法能够取得文档body元素的所有子元素，与 doc.getElementsByTag("body")相同。
Ⅲ、选择元素 (Element)
解析文档对象并获取数据一共有 2 种方式，分别为 DOM方式、CSS选择器方式，我们可以选择一种自己喜欢的方式去获取数据，效果一样。
3.1 、查找元素
通过Document获取指定节点Element对象
| Methods | 描述 |
|---|---|
getElementById(String id) | 通过id来查找元素 |
getElementsByTag(String tag) | 通过标签来查找元素 |
getElementsByClass(String className) | 通过类选择器来查找元素 |
getElementsByAttribute(String key) | 通过属性名称来查找元素，例如查找带有href元素的标签。 |
getElementsByAttributeValue(String key, String value); | 通过指定属性名称和属性值来获取节点对象 |
siblingElements() | 获取兄弟元素。如果元素没有兄弟元素，则返回一个空列表。 |
getAllElements() | 获取所有节点元素 |
firstElementSibling() | 获取第一个兄弟元素 |
lastElementSibling() | 获取最后一个兄弟元素 |
nextElementSibling() | 获取下一个兄弟元素 |
previousElementSibling() | 获取上一个兄弟元素 |
parent() | 获取此节点的父节点 |
children() | 获取此节点的所有子节点 |
child(int index) | 获取此节点的指定子节点 |
✅ 举例常用:
// 通过元素id值来获取对应的节点
Element element = document.getElementById(String id);
// 通过标签名来获取
Elements elements = document.getElementsByTag(String tagName);
// 通过类名来获取
Elements elements = document.getElementsByClass(String className);
// 通过属性名来获取
Elements elements = document.getElementsByAttribute(String key);
// 通过指定属性名称和属性值来获取节点对象
Elements elements = document.getElementsByAttributeValue(String key, String value);
// 获取所有节点元素
Elements elements = document.getAllElements();
3.2 、CSS选择器方式
可以使用类似于CSS选择器的语法来查找和操作元素，常用的方法为select(String selector)。
Document doc = Jsoup.connect("http://csdn.com").get();
// 获取带有 href 属性的 a 元素
Elements elements = doc.select("a[href]");
for (Element content : elements) {
String linkHref = content.attr("href");
String linkText = content.text();
System.out.print(linkText + "\t");
System.out.println(linkHref);
}
//扩展名为.png的图片
Elements pngs = doc.select("img[src$=.png]");
//class等于masthead的div标签
Element masthead = doc.select("div.masthead").first();
//在h3元素之后的a元素
Elements resultLinks = doc.select("h3.r > a");
3.2.1 、说明
select()方法在Document、Element或Elements对象中都可以使用，而且是上下文相关的，因此可实现指定元素的过滤，或者采用链式访问。
select() 方法将返回一个Elements集合，并提供一组方法来抽取和处理结果。
3.2.2 、select(String selector) 方法参数简介
tagname: 通过标签查找元素，例如通过"a"来查找<a>标签。#id: 通过ID查找元素，比如通过#logo查找<p id="logo">。.class: 通过class名称查找元素，比如通过.titile查找<p class="titile">。ns|tag: 通过标签在命名空间查找元素，比如使用fb|name来查找<fb:name>。[attribute]: 利用属性查找元素，比如通过[href]查找<a href="...">。[^attribute]: 利用属性名前缀来查找元素，比如：可以用[^data-]来查找带有HTML5 dataset属性的元素。[attribute=value]: 利用属性值来查找元素，比如：[width=500]。[attribute^=value],[attribute$=value],[attribute*=value]: 利用匹配属性值开头、结尾或包含属性值来查找元素，比如通过[href*=/path/]来查找<a href="a/path/c.html">。[attribute~=regex]: 利用属性值匹配 正则表达式 来查找元素，比如通过img[src~=(?i)\.(png|jpe?g)]来匹配所有的png或者jpg、jpeg格式的图片。*: 通配符，匹配所有元素。
3.2.3）参数属性组合使用
el#id: 元素+ID，比如：div#logoel.class: 元素+class，比如：div.mastheadel[attr]: 元素+class，比如a[href]匹配所有带有 href 属性的 a 元素。- 任意组合，比如：
a[href].highlight匹配所有带有 href 属性且class="highlight"的 a 元素。 ancestor child: 查找某个元素下子元素，比如：可以用.body p查找在"body"元素下的所有p元素parent > child: 查找某个父元素下的直接子元素，比如：可以用div.content > p查找 p 元素，也可以用body > *查找body标签下所有直接子元素siblingA + siblingB: 查找在A元素之前第一个同级元素B，比如：div.head + divsiblingA ~ siblingX: 查找A元素之前的同级X元素，比如：h1 ~ pel, el, el:多个选择器组合，查找匹配任一选择器的唯一元素，例如：div.masthead, div.logo
3.2.4 特殊参数 : 伪选择器
-
:lt(n): 查找哪些元素的同级索引值（它的位置在DOM树中是相对于它的父节点）小于n，比如：td:lt(3)表示小于三列的元素 -
:gt(n):查找哪些元素的同级索引值大于n``，比如：div p:gt(2)表示哪些div中有包含2个以上的p元素 -
:eq(n): 查找哪些元素的同级索引值与n相等，比如：form input:eq(1)表示包含一个input标签的Form元素 -
:has(seletor): 查找匹配选择器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素 -
:not(selector): 查找与选择器不匹配的元素，比如：div:not(.logo)表示不包含 class=logo 元素的所有 div 列表 -
:contains(text): 查找包含给定文本的元素，搜索不区分大不写，比如：p:contains(jsoup) -
:containsOwn(text): 查找直接包含给定文本的元素 -
:matches(regex): 查找哪些元素的文本匹配指定的正则表达式，比如：div:matches((?i)login) -
:matchesOwn(regex): 查找自身包含文本匹配指定正则表达式的元素
注意：上述伪选择器索引是从0开始的，也就是说第一个元素索引值为0，第二个元素index为1等
Ⅳ、获取数据 ( Node )
在获得文档对象并且指定查找元素后，我们就可以获取元素中的数据。 这些访问器方法都有相应的setter方法来更改数据。
.attr(String key)：获得属性的值。.text()：获得元素中的文本。.html()：获得元素或属性内部的HTML内容（不包括本身）。.outerHtml()：获得元素或属性完整的HTML内容。.id()：获得元素id属性值。className()：获得元素类选择器值。.tagName()：获得元素标签命名。.hasClass(String className)：检查这个元素是否含有一个类选择器（不区分大小写）。
Ⅴ、修改数据
在解析了一个Document对象之后，你可能想修改其中的某些属性值，并把它输出到前台页面或保存到其他地方，jsoup对此提供了一套非常简便的接口（支持链式写法）。
5.1）设置属性的值
当以下方法针对Element对象操作时，只有一个元素会受到影响。当针对Elements对象进行操作时，可能会影响到多个元素。
.attr(String key, String value)：设置标签的属性值。.addClass(String className)：增加类选择器选项.removeClass(String className)：删除对应的类选择器
Document doc = Jsoup.connect("http://csdn.com").get();
// 复数，Elements
Elements elements = doc.getElementsByClass("text");
// 单数，Element
Element element = elements.first();
// 复数对象，所有 class="text" 的元素都将受到影响
elements.attr("name","goods");
// 单数对象，只有一个元素会受到影响（链式写法）
element.attr("name","shop")
.addClass("red");
5.2）修改元素的HTML内容
可以使用Element中的HTML设置方法具体如下：
.html(String value)：这个方法将先清除元素中的HTML内容，然后用传入的HTML代替。.prepend(String value)：在元素前添加html内容。.append(String value)：在元素后添加html内容。.wrap(String value)：对元素包裹一个外部HTML内容，将元素置于新增的内容中间。
Document doc = Jsoup.connect("http://csdn.com").get();
Element div = doc.select("div").first();
div.html("<p>csdn</p>");
div.prepend("<p>a</p>");
div.append("<p>good</p>");
// 输出：<div"> <p>a</p> <p>csdn</p> <p>good</p> </div>
Element span = doc.select("span").first();
span.wrap("<li><a href='...'></a></li>");
// 输出: <li><a href="..."> <span>csdn</span> </a></li>
5.3）修改元素的文本内容
对于传入的文本，如果含有像 <, > 等这样的字符，将以文本处理，而非HTML。
.text(String text)：清除元素内部的HTML内容，然后用提供的文本代替。.prepend(String first)：在元素后添加文本节点。Element.append(String last)：在元素前添加文本节点。
// <div></div>
Element div = doc.select("div").first();
div.text(" one ");
div.prepend(" two ");
div.append(" three ");
// 输出: <div> two one three </div>
六、消除不受信任的HTML (防止XSS攻击)
问题描述：
在某些网站中经常会提供用户评论的功能，但是有些不怀好意的用户，会搞一些脚本到评论内容中，而这些脚本可能会破坏整个页面的行为，更严重的是获取一些机要信息，此时需要清理该HTML，以避免跨站脚本攻击（XSS）。
解决方式： 使用clean()方法清除恶意代码，但需要指定一个配置的 Safelist（旧版本中是Whitelist），通常使用Safelist.basic()即可。Safelist的工作原理是将输入的 HTML 内容单独隔离解析，然后遍历解析树，只允许已知的安全标签和属性输出。
String unsafe =
"<p><a href='http://csdn.com/' οnclick='attack()'>Link</a></p>";
// 输出: <p><a href="http://csdn.com/" >Link</a></p>
String safe = Jsoup.clean(unsafe, Safelist.basic());
System.out.println(safe);
说明：
jsoup的Safelist不仅能够在服务器端对用户输入的HTML进行过滤，只输出一些安全的标签和属性，还可以限制用户可以输入的标签范围。
1563
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
