Android中Jsoup的使用(网页内容解析)

最新推荐文章于 2021-05-31 16:34:30 发布

qq_37039178

最新推荐文章于 2021-05-31 16:34:30 发布

阅读量2k

点赞数 2

文章标签： Android

本文链接：https://blog.csdn.net/qq_37039178/article/details/90728312

版权

文章目录

Jsoup在安卓中的应用场景举例
相关基础知识简述
- HTML简述
- HTTP请求与响应的内容格式
Jsoup的库的主要API介绍
Jsoup实例

Jsoup在安卓中的应用场景举例

如果你想做一个资讯类的APP，那么可以使用jsoup去腾讯新闻、网易新闻、今日头条等资讯网站爬取相关的资讯内容。
如果你想做一个小说阅读APP，那么可以使用jsoup去一些免费的小说网站实时爬取内容然后放到APP里。
如果你做一个课程表的APP且需要获取教务系统的课程表，那么可以使用jsoup进行模拟登录然后爬取教务系统的课程表内容。
。。。。。。

相关基础知识简述

HTML简述

html是一种超文本标记语言。我们平时使用浏览器浏览的web页面几乎都是html格式的文本。下面是一个hello world的html页面的代码:

<html>
	<head>
		<title>a sample demo</title>
	</head>
	<body>
		hello world
	</body>
</html>

从上面的代码我们可以很直观的看出，html和xml语言很像都是树形结构，即一个根节点包含几个子节点，子节点又可以包含自己的子节点…。通常我们把html格式的这种树结构称为:文档树(dom树)

HTTP请求与响应的内容格式

Http请求包含四个部分的内容:

请求行(request line)
请求头(header)
空行
参数

抓包的request结构如下：

GET / HTTP/1.1
Host: jwgl.fjnu.edu.cn
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3
Referer: https://www.baidu.com/link?url=a98CxMug1u-J-RFk4E7kaP9hhk2EK8700MuPKT4cZYTTPG_urDB7Asq8TDNqQJFD&wd=&eqid=f7c332cc007927a4000000065cf20629
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Cookie: UM_distinctid=1696fc8ec3e1b0-0585ff9addbe6b-1333062-100200-1696fc8ec3f2f4; ASP.NET_SessionId=1uslg345bvgyqnny4yyjbz45
Connection: keep-alive

请求行：请求行只会有一行，且固定为第一行。在这里是GET / HTTP/1.1
请求头：Host Upgrade-Insecure-Requests … Cookie Connection这些都是请求头，每一行都是一个请求头格式为键值对类型。
空行：请求头与参数之间会有一个空行
参数: 因为GET请求的参数是放在URL上的，所以这里的参数没有独占一行

HTTP响应也包含四个部分（这个比较重要）：

状态行
消息报头(有时也俗称响应头)
空行
响应正文

Jsoup的库的主要API介绍

Jsoup 类是一个工具类，提供了一些静态函数，主要函数如下：
Jsoup.parse(String html) 该函数的作用是将传入的html格式的字符串解析成文档树，返回值是Document对象。
Jsoup.parse(File in,String charsetName) 将文件的内容解析成Document对象。
Jsoup.connect(String url) 根据传入的url返回一个Connection对象，Connection类的功能下面会介绍。

Element类对应文档树中的节点元素，这个类的常用函数如下:
getElementsByClass(String className) 返回所有带有className类属性的孩子节点。
getElementById(String id) 返回对应id的子节点
getElementsByTag(String tagName) 返回标签为tagName的所有孩子节点

jsoup库有着很丰富的功能与API，需要详细了解可以查看官网API文档

Jsoup实例

在Android Studio中使用Jsoup库

在app模块下的build.gradle文件中的dependencies属性里添加一行内容

implementation group: 'org.jsoup', name: 'jsoup', version: '1.8.3'

在这里插入图片描述

实例一：使用jsoup解析HTML格式的字符串

   String html = "<html>" +
                	"<head>" +
                		"<title>a sample demo</title>" +
                	"</head>" +
                	"<body>" +
                		"hello world" +
                	"</body>" +
                "</html>";
        Document doc = Jsoup.parse(html);//解析html字符串，获取document对象
        Elements body = doc.getElementsByTag("body");//获取body标签的元素
        Element element = body.get(0);//因为body是一个集合类型，所以需要取集合里的第一个元素
        System.out.println(element.text());//打印元素的内容 hello world
        
        String title = doc.title();//获取title值
        System.out.println(title);

运行结果：

hello world
a sample demo

实例二：使用jsoup爬取福建师范大学官网首页的所有文章链接

    public static void main(String[] args) throws IOException {
        String url = "https://www.fjnu.edu.cn/";
        Connection connect = Jsoup.connect(url);//获取连接对象
        Document document = connect.get();//获取url页面的内容并解析成document对象
        Elements as = document.getElementsByTag("a");//获取所有的a标签
        for (int i = 0; i < as.size(); i++) {//遍历a标签
            Element element = as.get(i);
            String href = element.attr("href");//获取链接的url值
            String text = element.text();//获取链接的标题
            if(href.startsWith("http"))//筛选以http开头的链接
                System.out.println(href+" "+text);
        }
    }

运行截图：
在这里插入图片描述

qq_37039178

关注

2
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
Android中Jsoup的使用(网页内容解析)

文章目录JSoup在安卓中的应用场景举例相关基础知识简述HTML简述HTTP请求与响应的内容格式JSoup的网页解析功能与API介绍JSoup的HTTP相关操作介绍JSoup实例实例一：使用jsoup解析HTML格式的字符串实例二：使用jsoup爬取[福建师范大学官网首页](http://www.fjnu.edu.cn)的所有文章链接实例三：使用jsoup与服务器进行数据交互JSoup在安卓中的...
复制链接

扫一扫