5.Jsoup
我们抓取到页面之后，还需要对页面进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析html页面的技术。
5.1.jsoup介绍
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下：
1.从一个URL，文件或字符串中解析HTML；
2.使用DOM或CSS选择器来查找、取出数据；
3.可操作HTML元素、属性、文本；
先加入Jsoup依赖：
<!--Jsoup-->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.10.3</version>
</dependency>
<!--测试-->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<!--工具-->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.7</version>
</dependency>
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.6</version>
</dependency>
5.2.jsoup解析
5.2.1.解析url
Jsoup可以直接输入url，它会发起请求并获取数据，封装为Document对象
@Test
public void testJsoupUrl() throws Exception {
// 解析url地址
Document document = Jsoup.parse(new URL("http://www.itcast.cn/"), 1000);
//获取title的内容
Element title = document.getElementsByTag("title").first();
System.out.println(title.text());
}
PS：虽然使用Jsoup可以替代HttpClient直接发起请求解析数据，但是往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而jsoup对这些的支持并不是很好，所以我们一般把jsoup仅仅作为Html解析工具使用
5.2.2.解析字符串
先准备以下html文件
<html>
<head>
<title>传智播客官网-一样的教育,不一样的品质</title>
</head>
<body>
<div class="city">
<h3 id="city_bj">北京中心</h3>
<fb:img src="/2018czgw/images/slogan.jpg" class="slogan"/>
<div class="city_in">
<div class="city_con" style="display: none;">
<ul>
<li id="test" class="class_a class_b">
<a href="http://www.itcast.cn" target="_blank">
<span class="s_name">北京</span>
</a>
</li>
<li>
<a href="http://sh.itcast.cn" target="_blank">
<span class="s_name">上海</span>
</a>
</li>
<li>
<a href="http://gz.itcast.cn" target="_blank">
<span abc="123" class="s_name">广州</span>
</a>
</li>
<ul>
<li>天津</li>
</ul>
</ul>
</div>
</div>
</div>
</body>
</html>
Jsoup可以直接输入字符串，并封装为Document对象
@Test
public void testJsoupString() throws Exception {
//读取文件获取
String html = FileUtils.readFileToString(new File("D:\\jsoup.html"), "UTF-8");
// 解析字符串
Document document = Jsoup.parse(html);
//获取title的内容
Element title = document.getElementsByTag("title").first();
System.out.println(title.text());
}
5.2.3.解析文件
Jsoup可以直接解析文件，并封装为Document对象
@Test
public void testJsoupHtml() throws Exception {
// 解析文件
Document document = Jsoup.parse(new File("D:\\jsoup.html"),"UTF-8");
//获取title的内容
Element title = document.getElementsByTag("title").first();
System.out.println(title.text());
}
解析整体代码
package jsoup;
import org.apache.commons.io.FileUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.junit.Test;
import sun.net.www.protocol.file.FileURLConnection;
import java.io.File;
import java.net.URL;
public class JsoupFirstTest {
@Test
public void testUrl() throws Exception {
///解析URL地址 第一个参数是访问URL 第二个参数是访问时候的超时时间
Document parse = Jsoup.parse(new URL("http://www.itcast.cn"), 1000);
// 使用标签选择器 获取title标签中的内容
String title = parse.getElementsByTag("title").first().text();
//打印
System.out.println(title);
}
@Test
public void testString() throws Exception{
//使用工具类读取文件，获取字符串
String content = FileUtils.readFileToString(new File("C:\\Users\\Administrator\\Desktop\\test.html"), "utf8");
//解析字符串
Document parse = Jsoup.parse(content);
String title = parse.getElementsByTag("title").first().text();
System.out.println(title);
}
@Test
public void testFile() throws Exception{
// 解析文件
Document utf8 = Jsoup.parse(new File("C:\\Users\\Administrator\\Desktop\\test.html"), "utf8");
String title = utf8.getElementsByTag("title").first().text();
System.out.println(title);
}
}
5.2.4.使用dom方式遍历文档
元素获取
1.根据id查询元素getElementById
2.根据标签获取元素getElementsByTag
3.根据class获取元素getElementsByClass
4.根据属性获取元素getElementsByAttribute
//1. 根据id查询元素getElementById
Element element = document.getElementById("city_bj");
//2. 根据标签获取元素getElementsByTag
element = document.getElementsByTag("title").first();
//3. 根据class获取元素getElementsByClass
element = document.getElementsByClass("s_name").last();
//4. 根据属性获取元素getElementsByAttribute
element = document.getElementsByAttribute("abc").first();
element = document.getElementsByAttributeValue("class", "city_con").first();
@Test ///使用DOM方式遍历文档
public void testDOM() throws Exception{
/// 解析文件获取Document对象
Document document = Jsoup.parse(new File("C:\\Users\\Administrator\\Desktop\\test.html"), "utf8");
/// 获取元素
//1.根据id查询元素getElementById
Element city_bj = document.getElementById("city_bj");
// 打印元素的内容
System.out.println("获取到元素内容是:"+city_bj.text()); //北京中心
//2.根据标签获取元素getElementsByTag
Element span = document.getElementsByTag("span").first();
// 打印元素的内容
System.out.println("获取到元素内容是:"+span.text()); //获取到元素内容是:北京
//3.根据class获取元素getElementsByClass
Element class_a_class_b = document.getElementsByClass("class_a class_b").first();
System.out.println(class_a_class_b.text()); //北京
Element class_a = document.getElementsByClass("class_a").first();
System.out.println(class_a.text());
//4.根据属性获取元素getElementsByAttribute
Element abc = document.getElementsByAttribute("abc").first();
System.out.println(abc.text()); //广州
Element href = document.getElementsByAttributeValue("href", "http://sh.itcast.cn").first();
System.out.println(href.text()); //上海
}
元素中获取数据
1.从元素中获取id
2.从元素中获取className
3.从元素中获取属性的值attr
4.从元素中获取所有属性attributes
5.从元素中获取文本内容text
//获取元素
Element element = document.getElementById("test");
//1. 从元素中获取id
String str = element.id();
//2. 从元素中获取className
str = element.className();
//3. 从元素中获取属性的值attr
str = element.attr("id");
//4. 从元素中获取所有属性attributes
str = element.attributes().toString();
//5. 从元素中获取文本内容text
str = element.text();
@Test
public void testData() throws Exception{
//解析文件 ，获取Document
Document document = Jsoup.parse(new File("C:\\Users\\Administrator\\Desktop\\test.html"), "utf8");
//根据id获取元素
Element test = document.getElementById("test");
String str = "";
//1.从元素中获取id
str = test.id();
System.out.println(str); //test
//2.从元素中获取className
str = test.className();
System.out.println(str); //class_a class_b
Set<String> strings = test.classNames();
for(String s : strings){
System.out.println(s); //class_a class_b
}
//3.从元素中获取属性的值attr
str = test.attr("id");
System.out.println(str); //test
str = test.attr("class");
System.out.println(str); //class_a class_b
//4.从元素中获取所有属性attributes
Attributes attributes = test.attributes();
System.out.println(attributes.toString()); // id="test" class="class_a class_b"
//5.从元素中获取文本内容text
str = test.text();
System.out.println(str); //北京
}
5.2.5.使用选择器语法查找元素
jsoup elements对象支持类似于CSS (或jquery)的选择器语法，来实现非常强大和灵活的查找功能。这个select 方法在Document, Element,或Elements对象中都可以使用。且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。
Select方法将返回一个Elements集合，并提供一组方法来抽取和处理结果。
5.2.6.Selector选择器概述
tagname: 通过标签查找元素，比如：span
#id: 通过ID查找元素，比如：# city_bj
.class: 通过class名称查找元素，比如：.class_a
[attribute]: 利用属性查找元素，比如：[abc]
[attr=value]: 利用属性值来查找元素，比如：[class=s_name]
@Test
public void testSelector() throws Exception {
// 解析html文件，获取Document对象
Document document = Jsoup.parse(new File("C:\\Users\\Administrator\\Desktop\\test.html"), "utf8");
//tagname: 通过标签查找元素，比如：span
Elements span = document.select("span");
//System.out.println(span.toString()); // id="test" class="class_"
for (Element element : span) {
System.out.println(element.text()); //北京 上海 广州
}
//#id: 通过ID查找元素，比如：# city_bj
Element first = document.select("#city_bj").first();
System.out.println(first.text());//北京中心
//.class: 通过class名称查找元素，比如：.class_a
Element first1 = document.select(".class_a").first();
System.out.println(first1.text()); //北京
//[attribute]: 利用属性查找元素，比如：[abc]
Element first2 = document.select("[abc]").first();
System.out.println(first2.text()); //广州
//[attr=value]: 利用属性值来查找元素，比如：[class=s_name]
Elements select = document.select("[class=s_name]");
for (Element element : select) {
System.out.println(element.text()); //北京 上海 广州
}
}
5.2.7.Selector选择器组合使用
el#id: 元素+ID，比如： h3#city_bj
el.class: 元素+class，比如： li.class_a
el[attr]: 元素+属性名，比如： span[abc]
任意组合: 比如：span[abc].s_name
ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
parent > child: 查找某个父元素下的直接子元素，比如：
.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
parent > *: 查找某个父元素下所有直接子元素
/el#id: 元素+ID，比如： h3#city_bj
String str = document.select("h3#city_bj").text();
//el.class: 元素+class，比如： li.class_a
str = document.select("li.class_a").text();
//el[attr]: 元素+属性名，比如： span[abc]
str = document.select("span[abc]").text();
//任意组合，比如：span[abc].s_name
str = document.select("span[abc].s_name").text();
//ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
str = document.select(".city_con li").text();
//parent > child: 查找某个父元素下的直接子元素，
//比如：.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
str = document.select(".city_con > ul > li").text();
//parent > * 查找某个父元素下所有直接子元素.city_con > *
str = document.select(".city_con > *").text();
@Test
public void testSelector2() throws Exception{
// 解析html文件，获取Document对象
Document document = Jsoup.parse(new File("C:\\Users\\Administrator\\Desktop\\test.html"), "utf8");
//el#id: 元素+ID，比如： h3#city_bj
Element first = document.select("h3#city_bj").first();
System.out.println(first.text()); //北京中心
//el.class: 元素+class，比如： li.class_a
Element first1 = document.select("li.class_a").first();
System.out.println(first1.text()); //北京
//el[attr]: 元素+属性名，比如： span[abc]
Element first2 = document.select("span[abc]").first();
System.out.println(first2.text()); //广州
//任意组合: 比如：span[abc].s_name
Element first3 = document.select("span[abc].s_name").first();
System.out.println(first3.text()); //广州
//ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
Elements select = document.select(".city_con li");
for (Element element : select) {
System.out.println("遍历的结果:"+element.text()); //遍历的结果北京 遍历的结果上海 遍历的结果广州 遍历的结果天津
}
//parent > child: 查找某个父元素下的直接子元素，比如：
//.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
Elements select1 = document.select(".city_con > ul > li");
for (Element element : select1) {
System.out.println(element.text());//北京 上海 广州
}
//parent > *: 查找某个父元素下所有直接子元素
Elements select2 = document.select(".city_con > *");
for (Element element1 : select2) {
System.out.println("aaaaa"+element1.text());//北京 上海 广州 天津
}
}
扫一扫
559
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
