Python爬取十四万条书籍信息告诉你哪本网络小说更好看，2024年最新字节面试算法难度

细心的人可以发现右侧还能选择类别！如下图：

不过，查看这些元素发现里面是没有显示 URL 的，如下图：

但是这也不表示没有办法了，全局搜索一下就能找到了，如下图：

CategoryId 就是这个分类的 ID，也就是 URL 中“bookListInCategory/”后面的内容。至于 maxIndex，可以先设为0，然后发送请求得到这一分类的书本总数“totalCount”，然后根据这个书本总数是否超过一千来设置页数，就能得到这一分类下能够爬取到的所有 URL 了。

爬取步骤

前面经过分析已经知道只要拿到书本分类 ID，就能发送请求得到书本总数，也就能构造该分类下的所有页面的 URL 了。那要怎么得到所有分类呢？前面全局搜索的时候已经搜到了书本分类的 CategoryId 等信息，如下图：

所以只需先请求页面然后用正则匹配 CategoryId 就行了！然后对每个分类发送一次请求，用于获取书本总数，并构造这一分类下的所有 URL。这一部分代码如下：

进行到这一步，后面就很简单了，就是获取请求结果并解析即可。程序运行时打印输出如下：

可以看到总链接数有7091条，那么爬到的书本信息有多少条呢？因为我用的是 MongoDB 保存的，所以打开 Robot3T 查看，总共有141137条，结果如下图：

绘图分析

---

熟悉 Python 的都知道，matplotlib 是 Python 中用的最多的 2D 图形绘图库。不过我在这推荐一个好用的第三方库：pyecharts，这是一个用于生成 Echarts 图表的类库，生成的图表更加精巧，可视化效果更好，不过需要注意的是 pyecharts 的0.5版本和1.0版本使用方法是不同的。下面就是使用这个库生成的横向柱状图了，分别表示评分前十的书籍、阅读量前十的书籍和总阅读量前十的作者：



可以发现评分高的书籍阅读量却不一定高，阅读量更多的往往是一些网络小说。为什么好像现在名著都不怎么讨喜，而网络小说却能让更多人着迷呢？个人猜想是小说里的世界可能更加能够满足现在年轻人的幻想吧，现实生活疲惫不堪，就会更加迷恋小说中的“世外桃源”吧。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
[外链图片转存中…(img-0s1LsQdr-1712708960658)]