Android中Jsoup的使用(网页内容解析),想给金三银四找工作的程序员几点建议

  1. 空行

  2. 参数

抓包的request结构如下:

GET / HTTP/1.1

Host: jwgl.fjnu.edu.cn

Upgrade-Insecure-Requests: 1

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3

Referer: https://www.baidu.com/link?url=a98CxMug1u-J-RFk4E7kaP9hhk2EK8700MuPKT4cZYTTPG_urDB7Asq8TDNqQJFD&wd=&eqid=f7c332cc007927a4000000065cf20629

Accept-Encoding: gzip, deflate

Accept-Language: zh-CN,zh;q=0.9

Cookie: UM_distinctid=1696fc8ec3e1b0-0585ff9addbe6b-1333062-100200-1696fc8ec3f2f4; ASP.NET_SessionId=1uslg345bvgyqnny4yyjbz45

Connection: keep-alive

请求行:请求行只会有一行,且固定为第一行。在这里是GET / HTTP/1.1

请求头:Host Upgrade-Insecure-RequestsCookie Connection这些都是请求头,每一行都是一个请求头 格式为键值对类型。

空行:请求头与参数之间会有一个空行

参数: 因为GET请求的参数是放在URL上的,所以这里的参数没有独占一行

HTTP响应也包含四个部分(这个比较重要):

  1. 状态行

  2. 消息报头(有时也俗称响应头)

  3. 空行

  4. 响应正文

在这里插入图片描述

Jsoup的库的主要API介绍

=========================================================================

Jsoup 类是一个工具类,提供了一些静态函数,主要函数如下:

Jsoup.parse(String html) 该函数的作用是将传入的html格式的字符串解析成文档树,返回值是Document对象。

Jsoup.parse(File in,String charsetName) 将文件的内容解析成Document对象。

Jsoup.connect(String url) 根据传入的url返回一个Connection对象,Connection类的功能下面会介绍。

Element类对应文档树中的节点元素,这个类的常用函数如下:

getElementsByClass(String className) 返回所有带有className类属性的孩子节点。

getElementById(String id) 返回对应id的子节点

getElementsByTag(String tagName) 返回标签为tagName的所有孩子节点

jsoup库有着很丰富的功能与API,需要详细了解可以查看官网API文档

Jsoup实例

=================================================================

在Android Studio中使用Jsoup库


在app模块下的build.gradle文件中的dependencies属性里添加一行内容

implementation group: ‘org.jsoup’, name: ‘jsoup’, version: ‘1.8.3’

在这里插入图片描述

实例一:使用jsoup解析HTML格式的字符串


String html = “” +

“” +

a sample demo” +

“” +

“” +

“hello world” +

“” +

“”;

Document doc = Jsoup.parse(html);//解析html字符串,获取document对象

Elements body = doc.getElementsByTag(“body”);//获取body标签的元素

Element element = body.get(0);//因为body是一个集合类型,所以需要取集合里的第一个元素

System.out.println(element.text());//打印元素的内容 hello world

String title = doc.title();//获取title值

System.out.println(title);

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip204888 (备注Android)
img

最后

Android学习是一条漫长的道路,我们要学习的东西不仅仅只有表面的 技术,还要深入底层,弄明白下面的 原理,只有这样,我们才能够提高自己的竞争力,在当今这个竞争激烈的世界里立足。

人生不可能一帆风顺,有高峰自然有低谷,要相信,那些打不倒我们的,终将使我们更强大,要做自己的摆渡人。

资源持续更新中,欢迎大家一起学习和探讨。

5)]

最后

Android学习是一条漫长的道路,我们要学习的东西不仅仅只有表面的 技术,还要深入底层,弄明白下面的 原理,只有这样,我们才能够提高自己的竞争力,在当今这个竞争激烈的世界里立足。

人生不可能一帆风顺,有高峰自然有低谷,要相信,那些打不倒我们的,终将使我们更强大,要做自己的摆渡人。

资源持续更新中,欢迎大家一起学习和探讨。

本文已被CODING开源项目:《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》收录

  • 28
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Jsoup爬取分页数据的步骤如下: 1. 定义要爬取的网页地址和需要爬取的内容。 2. 使用Jsoup连接网页,获取网页内容。 3. 使用Jsoup解析网页内容,提取需要的数据。 4. 如果网页存在多页数据,使用循环遍历所有网页,重复步骤2和步骤3。 5. 将提取的数据保存到本地或数据库。 下面是一个示例代码,演示如何使用Jsoup爬取分页数据: ```java import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; public class PageCrawler { public static void main(String[] args) throws IOException { // 定义要爬取的网页地址和需要爬取的内容 String url = "https://example.com/page/1"; String cssSelector = ".list-item"; // 使用Jsoup连接网页,获取网页内容 Document doc = Jsoup.connect(url).get(); // 使用Jsoup解析网页内容,提取需要的数据 Elements items = doc.select(cssSelector); for (Element item : items) { // 处理每个数据项 String title = item.select(".title").text(); String description = item.select(".description").text(); System.out.println(title); System.out.println(description); System.out.println("------------"); } // 如果网页存在多页数据,使用循环遍历所有网页 for (int i = 2; i <= 10; i++) { String nextUrl = "https://example.com/page/" + i; doc = Jsoup.connect(nextUrl).get(); items = doc.select(cssSelector); for (Element item : items) { // 处理每个数据项 String title = item.select(".title").text(); String description = item.select(".description").text(); System.out.println(title); System.out.println(description); System.out.println("------------"); } } // 将提取的数据保存到本地或数据库 // ... } } ``` 在示例代码,我们首先定义了要爬取的网页地址和需要爬取的内容。 然后,我们使用Jsoup连接网页,获取网页内容,并使用Jsoup解析网页内容,提取需要的数据。 如果网页存在多页数据,我们使用循环遍历所有网页,重复步骤2和步骤3。 最后,我们可以将提取的数据保存到本地或数据库

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值