Python爬取十四万条书籍信息告诉你哪本网络小说更好看

更关键的是，要获取这些书籍信息，只需要得到分类 ID 和参数 maxIndex。不过测试发现，每个分类只会返回50个页面的内容，也就是最多一千条书本信息。那么，如果只有这25个类别的榜单，能得到的数据还是有点少的，所以要怎么得到更多的数据呢？

细心的人可以发现右侧还能选择类别！如下图：

不过，查看这些元素发现里面是没有显示 URL 的，如下图：

但是这也不表示没有办法了，全局搜索一下就能找到了，如下图：

CategoryId 就是这个分类的 ID，也就是 URL 中“bookListInCategory/”后面的内容。至于 maxIndex，可以先设为0，然后发送请求得到这一分类的书本总数“totalCount”，然后根据这个书本总数是否超过一千来设置页数，就能得到这一分类下能够爬取到的所有 URL 了。

爬取步骤

前面经过分析已经知道只要拿到书本分类 ID，就能发送请求得到书本总数，也就能构造该分类下的所有页面的 URL 了。那要怎么得到所有分类呢？前面全局搜索的时候已经搜到了书本分类的 CategoryId 等信息，如下图：

所以只需先请求页面然后用正则匹配 CategoryId 就行了！然后对每个分类发送一次请求，用于获取书本总数，并构造这一分类下的所有 URL。这一部分代码如下：

进行到这一步，后面就很简单了，就是获取请求结果并解析即可。程序运行时打印输出如下：

可以看到总链接数有7091条，那么爬到的书本信息有多少条呢？因为我用的是 MongoDB 保存的，所以打开 Robot3T 查看，总共有141137条，结果如下图：

绘图分析

---

熟悉 Python 的都知道，matplotlib 是 Python 中用的最多的 2D 图形绘图库。不过我在这推荐一个好用的第三方库：pyecharts，这是一个用于生成 Echarts 图表的类库，生成的图表更加精巧，可视化效果更好，不过需要注意的是 pyecharts 的0.5版本和1.0版本使用方法是不同的。下面就是使用这个库生成的横向柱状图了，分别表示评分前十的书籍、阅读量前十的书籍和总阅读量前十的作者：

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

内容对你有帮助，可以添加下面V无偿领取！（备注：python）**
[外链图片转存中…(img-2gSCxqzC-1710877178600)]