基于java的Jsoup爬取起点小说（暂时只能爬取一本）

最新推荐文章于 2023-07-21 09:38:31 发布

白开水灬

最新推荐文章于 2023-07-21 09:38:31 发布

阅读量2.2k

点赞数

文章标签： java jsoup

本文链接：https://blog.csdn.net/u010354884/article/details/81358273

版权

本文介绍了如何利用Java的Jsoup库逐章爬取起点小说的内容。由于在爬取目录页面时遇到困难，作者通过分析HTML结构，逐步解析每个章节的URL。

摘要由CSDN通过智能技术生成

因为爬取起点目录页找不到各个章节的url,因此只能一章一章的往下爬

分析下起点网页html

首先导入相关jar包 (我用的是gradle)

上代码

url="https://read.qidian.com/chapter/6xbxCkvMZqw1/OCcwrQf_B4Qex0RJOkJclQ2";
//伪装浏览器
Document document = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36").timeout(500000).get();
//获得书名
String bookName = document.getElementsByClass("book-cover-wrap").