自学Java网络爬虫-Day2

少想多做.

已于 2022-04-21 17:17:11 修改

阅读量156

点赞数

分类专栏：网络爬虫文章标签： java 爬虫

于 2021-02-22 18:44:33 首次发布

本文链接：https://blog.csdn.net/hyfsoar/article/details/113943301

版权

网络爬虫专栏收录该内容

2 篇文章 0 订阅

订阅专栏

自学Java网络爬虫-Day2

文章目录

自学Java网络爬虫-Day2
- Jsoup

第一天主要介绍的是HttpClient的相关内容，它的作用是来抓取页面。但是抓取之后必须进行解析才能获得我们想要的信息，今天学习的Jsoup就可以完成html页面解析工作。使用的还是第一天的程序接着写。

Jsoup

1.Jsoup介绍

jsoup是java的html解析器，可直接解析url地址，html文本。它提供了很好用的API，可通过dom，css和类似于jQuery的方法去除和操作数据。
主要功能如下：

从一个url，文件或字符串中解析html；
使用DOM或css选择器来查找，去除数据；
可操作html元素、属性、文本。

2.加入依赖

加入jsoup、junit、commons-io和commons-lang3依赖到第一天的pom.xml中。现在pom.xml里加上httpclient、slf4j共有六个依赖。

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.11.3</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/junit/junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.8.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.11</version>
        </dependency>

3.第一个Test（解析url）

1.先在test->java下创建一个名为jsoup的包，然后新建一个名为JsoupFirstTest的java类
在这里插入图片描述
2.
3.运行testUrl()获得网站title的内容。

在这里插入图片描述
注意：虽然Jsoup可以替代HttpClient直接发起请求获取数据，但是实际开发时需要用到多线程、连接池、代理等方式，而Jsoup对这些支持并不是很好，所以仅仅作为html解析工具使用。

4.第二个Test（解析字符串）

1.在桌面上创建一个test.txt文件内容为:

<html>
<head>
	<title>传智教育官网-一样的教育,不一样的品质</title>
</head>
<body>
       <div class="city">
	<h3 id="city_bj">北京中心</h3>
	<fb : img src="/2018czgw/images/slogan.jpg" class="slogan"/>
		<div class="city_in">
		         <div class="city_con" style="display : none;">
			<ul>
			        <li id="test" class="class_a class_b">
				<a href="http://www.itcast.cn" target="_blank">
				       <span class="s_name">北京</span> 
				</a>
			         </li>
			        <li>
				<a href="http://sh.itcast.cn" target="_blank">
				       <span class="s_name">上海</span> 
				</a>
			         </li>
			        <li>
				<a href="http://gz.itcast.cn" target="_blank">
				       <span abc="123" class="s_name">广州</span> 
				</a>
			         </li>
			         <ul>
				<li>天津</li>
			         </ul>
			</ul>
		          </div>
		</div>
	         </div>
</body>
</html>

2.将扩展名.txt改为.html。之后操作的都是这个文件。
3. 在这里插入图片描述
4.其中"C:\Users\11473\Desktop\test.html"获取需要如下步骤：

右键test.html->创建快捷方式
右键新产生的快捷方式->属性
目标：C:\Users\11473\Desktop\test.html，即为test.html的地址。

5.运行testString()
在这里插入图片描述

5.第三个Test（解析文件）

在这里插入图片描述
运行testFile()

6.第四个Test（使用dom方式遍历文档）

在这里插入图片描述
运行testDOM()

7.第五个Test（使用选择器语）

在这里插入图片描述
运行testData()

8.第六个Test（Selector选择器概述）

在这里插入图片描述
运行testSelector()

9.第七个Test（Selector选择器组合使用）

在这里插入图片描述
运行testSelector2()

少想多做.

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
自学Java网络爬虫-Day2

自学Java网络爬虫-Day2文章目录自学Java网络爬虫-Day2Jsoup1.Jsoup介绍2.加入依赖3.第一个Test（解析url）4.第二个Test（解析字符串）5.第三个Test（解析文件）6.第四个Test（使用dom方式遍历文档）7.第五个Test（使用选择器语）8.第六个Test（Selector选择器概述）9.第七个Test（Selector选择器组合使用）第一天主要介绍的是HttpClient的相关内容，它的作用是来抓取页面。但是抓取之后必须进行解析才能获得我们想要的信息，今天学
复制链接

扫一扫