Android 本地网络小说爬虫，基于 jsoup 及 xpath

模版示例

---

例如针对猎文网：

{

“id”: 1, //对应书源 id

“search”: { //搜索页解析规则

“charset”: “UTF-8”,

“xpath”: “//div[@class=‘result-item result-game-item’]”,

“coverXpath”: “//div[@class=‘result-game-item-pic’]//a//img/@src”,

“titleXpath”: “//div[@class=‘result-game-item-detail’]//h3//a/@title”,

“linkXpath”: “//div[@class=‘result-game-item-detail’]//h3//a/@href”,

“authorXpath”: “//div[@class=‘result-game-item-detail’]//div[@class=‘result-game-item-info’]//p[1]/span[2]/text()”,

“descXpath”: “//div[@class=‘result-game-item-detail’]//p[@class=‘result-game-item-desc’]/text()”

},

“catalog”: { //目录列表解析规则

“xpath”: “//div[@id=list]//dl//dd”,

“titleXpath”: “//a/text()”,

“linkXpath”: “//a/@href”

},

“content”: { //文章内容解析规则

“xpath”: “//div[@id=‘content’]/text()”

}

}

调用方式

---

目前虽然请求结果是通过 Callback 形式，因为搜多个源是分批返回结果。内部当仍是同步请求，没有做线程调度。

Crawler.search(“你好”, new SearchCallback() {

@Override

public void onResponse(String keyword, List appendList) {

}

@Override

public void onFinish() {

}

@Override

public void onError(String msg) {

}

});

Crawler.catalog(new SearchBook.SL(“https://www.liewen.cc/b/24/24934/”, SourceManager.SOURCES.get(1)), new ChapterCallback() {

@Override

public void onResponse(List chapters) {

}

@Override

public void onError(String msg) {

}

});

Crawler.content(new SearchBook.SL(“https://www.liewen.cc/b/24/24934/”, SourceManager.SOURCES.get(1)), “/b/24/24934/12212511.html”, new ContentCallback() {

@Override

public void onResponse(String content) {

}

@Override

public void onError(String msg) {

}

});

ScreenShot

---

Search

SearchResult

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划