网络爬虫页面解析 (Jsoup)

最新推荐文章于 2022-06-02 16:36:07 发布
最新推荐文章于 2022-06-02 16:36:07 发布
阅读量422 收藏 2
点赞数
分类专栏： 网络爬虫 文章标签： java 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22075913/article/details/118713564
版权

Jsoup

我们抓取到页面之后，还需要对页面进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析html页面的技术。

1. jsoup介绍

  • jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

jsoup的主要功能如下：

	1.从一个URL，文件或字符串中解析HTML；
	
	2.使用DOM或CSS选择器来查找、取出数据；
	
	3.可操作HTML元素、属性、文本；

先加入Jsoup依赖：

 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.13.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/junit/junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.11</version>
        </dependency>

2. jsoup解析

2.1 解析url

Jsoup可以直接输入url，它会发起请求并获取数据，封装为Document对象

//1.jsoup解析url
    @Test
    public void testUrl() throws Exception{
        //解析url地址,第一个参数是访问的url,第二个参数是访问时候的超时时间
        Document doc= Jsoup.parse(new URL("http://www.itcast.cn"), 1000);
        //使用标签选择器,获取title标签中的内容
        String title = doc.getElementsByTag("title").first().text();
        //打印
        System.out.println(title);
    }

运行结果：

在这里插入图片描述
PS：虽然使用Jsoup可以替代HttpClient直接发起请求解析数据，但是往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而jsoup对这些的支持并不是很好，所以我们一般把jsoup仅仅作为Html解析工具使用

2.2 解析字符串

先准备以下html文件

<html>
 <head> 
  <title>传智播客官网-一样的教育,不一样的品质</title> 
 </head> 
 <body>
	<div class="city">
		<h3 id="city_bj">北京中心</h3>
		<fb:img src="/2018czgw/images/slogan.jpg" class="slogan"/>
		<div class="city_in">
			<div class="city_con" style="display: none;">
				<ul>
					<li id="test" class="class_a class_b">
						<a href="http://www.itcast.cn" target="_blank">
							<span class="s_name">北京</span>
						</a>
					</li>
					<li>
						<a href="http://sh.itcast.cn" target="_blank">
							<span class="s_name">上海</span>
						</a>
					</li>
					<li>
						<a href="http://gz.itcast.cn" target="_blank">
							<span abc="123" class="s_name">广州</span>
						</a>
					</li>
					<ul>
						<li>天津</li>
					</ul>					
				</ul>
			</div>
		</div>
	</div>
 </body>
</html>

Jsoup可以直接输入字符串，并封装为Document对象

 @Test
    public void testString() throws Exception{
        //使用工具类读取文件，获取字符串
        String content = FileUtils.readFileToString(new File("C:/Users/28486/Desktop/test.html"), "utf8");
        //解析字符串
        Document document = Jsoup.parse(content);

        String title = document.getElementsByTag("title").first().text();
        System.out.println(title);
    }

在这里插入图片描述

2.3 解析文件

Jsoup可以直接解析文件，并封装为Document对象

 @Test
    public void testFile() throws Exception{
        //解析文件
        Document document = Jsoup.parse(new File("C:/Users/28486/Desktop/test.html"), "utf8");
        String title = document.getElementsByTag("title").first().text();
        System.out.println(title);
    }

在这里插入图片描述

2.4 使用dom方式遍历文档

元素获取

  • 1.根据id查询元素getElementById
  • 2.根据标签获取元素getElementsByTag
  • 3.根据class获取元素getElementsByClass
  • 4.根据属性获取元素getElementsByAttribute
    @Test
    public void testDom() throws Exception{
        //解析文件，获取Document对象
        Document document = Jsoup.parse(new File("C:/Users/28486/Desktop/test.html"), "utf8");
        //元素获取
        //1.根据id查询元素getElementById
        String cityBj = document.getElementById("city_bj").text();
        System.out.println("获取到的元素内容是: "+cityBj);
        //2.根据标签获取元素getElementsByTag
        String span = document.getElementsByTag("span").first().text();
        System.out.println(span);
        //3.根据class获取元素getElementsByClass
        String classAClassB = document.getElementsByClass("class_a class_b").first().text();
        System.out.println(classAClassB);
        String classA = document.getElementsByClass("class_a").first().text();
        System.out.println(classA);
        String classB = document.getElementsByClass("class_b").first().text();
        System.out.println(classB);
        //4.根据属性获取元素getElementsByAttribute
        String abc = document.getElementsByAttribute("abc").first().text();
        System.out.println(abc);
        //5.通过属性和属性值获取
        String href = document.getElementsByAttributeValue("href", "http://sh.itcast.cn").first().text();
        System.out.println(href);
    }

在这里插入图片描述
元素中获取数据

  • 1.从元素中获取id
  • 2.从元素中获取className
  • 3.从元素中获取属性的值attr
  • 4.从元素中获取所有属性attributes
  • 5.从元素中获取文本内容text
 @Test
    public void testData() throws Exception{
        //解析文件，获取document
        Document document = Jsoup.parse(new File("C:/Users/28486/Desktop/test.html"), "utf8");
        /*元素中获取数据
        1.从元素中获取id*/
        Element element = document.getElementById("test");
        String id = element.id();
        System.out.println("获取到的数据是:"+id);
        //2.从元素中获取className
        String className = element.className();
        System.out.println("获取到的数据是:"+className);
        Set<String> classSet = element.classNames();
        for (String str:classSet) {
            System.out.println(str);
        }
        //3.从元素中获取属性的值attr
        String id1 = element.attr("id");
        System.out.println(id1);
        //4.从元素中获取所有属性attributes
        Attributes attributes = element.attributes();
        System.out.println(attributes.toString());
        //5.从元素中获取文本内容text
        String text = element.text();
        System.out.println(text);
    }

在这里插入图片描述

2.6 Selector选择器概述

tagname: 通过标签查找元素，比如：span
#id: 通过ID查找元素，比如：# city_bj
. class: 通过class名称查找元素，比如：.class_a
[attribute]: 利用属性查找元素，比如：[abc]
[attr=value]: 利用属性值来查找元素，比如：[class=s_name]

 @Test
    public void testSelector() throws Exception{
        //解析html文件，获取document对象
        Document document = Jsoup.parse(new File("C:/Users/28486/Desktop/test.html"), "utf8");
        //tagname: 通过标签查找元素，比如：span
        Elements elements = document.select("span");
        for (Element element : elements) {
            System.out.println(element.text());
        }
        System.out.println("--------------");
        //#id: 通过ID查找元素，比如：# city_bj.
        Element element = document.select("#city_bj").first();
        System.out.println(element.text());
        System.out.println("--------------");
        // class: 通过class名称查找元素，比如：.class_a
        Element element1 = document.select(".class_a").first();
        System.out.println(element1.text());
        System.out.println("--------------");
        //[attribute]: 利用属性查找元素，比如：[abc]
        Element element2 = document.select("[abc]").first();
        System.out.println(element2.text());
        System.out.println("--------------");
        Elements elements1 = document.select("[class=s_name]");
        for (Element e : elements1) {
            System.out.println(e.text());
        }
    }

在这里插入图片描述

2.7.Selector选择器组合使用

el#id: 元素+ID，比如： h3#city_bj
el.class: 元素+class，比如： li.class_a
el[attr]: 元素+属性名，比如： span[abc]
任意组合: 比如：span[abc].s_name
ancestor child: 查找某个元素下子元素，
比如：.city_con li 查找"city_con"下的所有li
parent > child: 查找某个父元素下的直接子元素，比如：
.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
parent > *: 查找某个父元素下所有直接子元素

 @Test
    public void testSelector2() throws Exception{
        //获取Document
        Document document = Jsoup.parse(new File("C:/Users/28486/Desktop/test.html"), "utf8");
        //el#id: 元素+ID，比如： h3#city_bj
        Element element = document.select("h3#city_bj").first();
        System.out.println(element.text());
        //el.class: 元素+class，比如： li.class_a
        element = document.select("li.class_a").first();
        System.out.println(element.text());
        element=document.select("span").first();
        System.out.println(element.text());
        //el[attr]: 元素+属性名，比如： span[abc]
        element=document.select("span[abc]").first();
        System.out.println(element.text());
        //任意组合: 比如：span[abc].s_name
        element=document.select("span[abc].s_name").first();
        System.out.println(element.text());
        //ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
        Elements elements = document.select(".city_con li");
        for (Element e : elements) {
            System.out.println("遍历的结果: "+e.text());
        }
        System.out.println("----------------");
        //parent > child: 查找某个父元素下的直接子元素，
        //比如：.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
        elements = document.select(".city_con > ul > li");
        for (Element e : elements) {
            System.out.println("遍历的结果: "+e.text());
        }
        System.out.println("----------------");
        //parent > * 查找某个父元素下所有直接子元素.city_con > *
        elements = document.select(".city_con > *");
        for (Element e : elements) {
            System.out.println("遍历的结果: "+e.text());
        }
    }

在这里插入图片描述

律二萌萌哒
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Jsoup爬取网页乱码编码格式gb2312转utf8
poyuan97的博客
09-20 6855
最近做的一个项目需要爬取股票公告并存储于mongodb中用来显示，当我在用jsoup爬取新浪财经股票公告的时候，发现了乱码问题。网页链接如下http://vip.stock.finance.sina.com.cn/corp/view/vCB_AllBulletinDetail.php?stockid=600958&id=3735125，打开控制台可以看到新浪财经采用的是gb2312的编码方式，mo
Jsoup解析Html
u010585448的专栏
08-26 738
Jsoup是采用java编写的解析html文件的第三方库，使用Jsoup提供的API我们可以很方便的解析html文件。下面来介绍一下如何使用jsoup解析html。 1.首先我们要了解一下html的dom文档结构DOM节点介绍，下面是我截取的html文件的部分，会有助于理解下面的代码 2.使用jsoup我们可以解析本地文件中的html以及网络获取的html。网络获取的html居多，所以
jsoup 的基本使用以及API内容
shijialeya
11-19 6581
下面是 Jsoup 的 API，参考自：jsoup官方文档 public class org.jsoup.Jsoup 类 extends Object 所有方法 修饰符和类型 方法名称 描述 static String clean​(String bodyHtml, String baseUri, Whitelist whitelist) 通过解析输入HTML并通过允许的标签和属性的白名单对其进行过滤，从不受信任的输入HTML中获得安全的HTML。 static String clean
使用 jsoup 对 HTML 文档进行解析和操作
weixin_34319374的博客
03-02 364
2019独角兽企业重金招聘Python工程师标准>>> ...
手把手Java爬虫教学 - 5. 项目1 - Jsoup 解析 html 页面
胖子胖子大胖子的博客
06-02 1198
我们上一讲已经拿到了完整的 html 页面，这一讲我们来对我们要爬取的页面进行分析，然后去读取相应的数据一、页面分析打开我们要爬的页面，然后鼠标右键，选择检查不难发现，我们要爬取的内容，都在一个 id 为 post_list 的 div 块中，也就是说，我们要先拿到这个 div。接着再来看每一个博客都是扔在了 article 标签中，那也就是说我们再去拿这个标签，然后里面有各种 div、a、span 标签，这些里面有我们需要的内容，解析这些内容即可。总的来说其实还是比较容易的，现在我们来通过代码进行实现~二
网络爬虫案例解析
08-31
例如，我们可以使用 Jsoup 库来解析百度贴吧的页面，并提取出帖子内容。 网络爬虫是一种非常有用的技术，已经广泛应用于互联网领域。通过学习和掌握网络爬虫的技术，我们可以更好地了解互联网的工作原理，并开发出...
jsoup实现网络爬虫
04-18
**JSoup实现网络爬虫详解** 网络爬虫是获取大量网页数据的重要工具，而Java作为广泛应用的编程语言，提供了丰富的库来支持网络爬虫的开发。JSoup是其中一个优秀的库，专为处理真实世界的HTML而设计。本篇将详细介绍...
Jsoup网络爬虫
03-15
Jsoup在网络爬虫领域中扮演着重要角色，因为它的API设计简洁，易于理解和使用，使得开发人员可以高效地提取网页上的结构化信息。 在使用Jsoup进行网络爬虫开发时，首先需要理解其核心概念。Jsoup的核心功能在于连接...
Android 本地网络小说爬虫，基于jsoup及xpath.zip
最新发布
04-08
在这个项目中，爬虫首先会访问小说网站，然后通过jsoup解析页面结构，使用XPath表达式提取所需信息，如小说的章节列表、章节内容等，接着将这些数据存储到本地或者数据库中。 4. **Android开发**：由于项目是在...
SpringBoot+jsoup爬虫
05-14
**SpringBoot+Jsoup爬虫详解** 在现代Web开发中，数据抓取（或称爬虫）是一项重要的技能，尤其对于数据分析、市场研究和自动化任务。SpringBoot与Jsoup的结合提供了一个高效、灵活的解决方案来实现这个目标。本文将...
Jsoup解析HTML
CourageHe的博客
10-20 411
Jsoup解析HTML   Jsoup是一款Java的HTML解析器，可以直接解析某个URL地址，也可以解析HTML内容。其主要的功能包括解析HTML页面，通过DOM或者CSS选择器来查找、提取数据，可以更改HTML内容,HTML文档过滤清理。 一、文档清理 1、字符串转化 String html = "<html><div id=\"blog_list\"><div...
java jsoup 乱码_告别中文乱码，自动检测网页编码的JAVA爬虫
weixin_33196828的博客
02-24 393
麻烦的中文编码GB2312写了个爬虫系统，结果运行没一会儿就发现队列里出现了乱码的url。检查发现网页是用gb2312编码的，我读取的时候是用utf8，所以中文就乱码了。原因找到了，开始fix。一般而言，指定网页编码的地方有三处：http header头部的Content-Type (Content-Type:text/html; charset=UTF-8)源码 meta charset ()源...
jsoup html文件解析,使用 jsoup 对 HTML 文档进行解析和操做
weixin_35406812的博客
06-24 1119
刘 柄成, 站长, 开源中国社区简介：jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套很是省力的 API，可经过 DOM，CSS 以及相似于 jQuery 的操做方法来取出和操做数据。本文主要介绍如何使用 jsoup 来进行经常使用的 HTML 解析。cssJava 程序在解析 HTML 文档时，相信你们都接触过 htmlpars...
爬虫爬取的网页 乱码 response.encoding = "utf-8" 来解决
热门推荐
abcdasdff的博客
08-25 2万+
使用requests爬数据的时候，发现打印或者保存到文件中的中文显示为Unicode码(其实我也不知道是什么码,总之乱码)。 爬取某网 response= requests.get(“http://www.xxxxx.com/“) 我们都知道response有 text 和 content 这两个property, 它们都是指响应内容，但是又有区别。我们从doc中可以看到： text的d...
Jsoup处理Url与解析Html
danfengw的博客
12-13 3424
jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API。 友情提示 刚开始接触对jsoup了解也不是很多，更多的还是需要自己在使用与实践中体会jsoup的作用。 jsoup官网连接：http://jsoup.org/根据官网的信息可知jsoup的主要功能有： 从一个URL，文件或字符串中解析HTML； 使用DOM或CSS
jsoup解析html简单总结
wjw的博客
12-16 712
jsoup(Java HTML Parser)java html解析器。 使用jsoup解析html很简单，只要抓到最重要的点，剩下的代码很容易就顺下来。 Document document = Jsoup.parse(html); 通过Jsoup中静态方法解析HTML文本内容，解析成Document对象，接下来操作就是在玩儿这个Document对象。 按照解析html中的图片地址
HTML解析器 jsoup
展望
08-19 615
jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。 jsoup的主要功能如下： 从一个URL，文件或字符串中解析HTML； 使用
java jsoup爬虫实现
06-12
Java Jsoup 是一个开源的 HTML 解析器库，可以用来实现简单的 Web 页面爬取。以下是一个简单的 Java Jsoup 爬虫实现： 1. 导入 Jsoup 库 首先需要在项目中导入 Jsoup 库，可以在 Maven 中添加以下依赖： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值