对于很多正在学习计算机的朋友来说,选择合适的学习材料是非常重要的。
本文将通过 Python 来爬取豆瓣编程类评分大于 9.0 的书籍。
此案例很适合入门爬虫的朋友学习,总共也就 3 个函数。
下图是最终的结果:
下面进入正题:
一、采集源分析:
首先我们找到豆瓣的编程类书籍网址:
进入网址之后我们翻到最下面的分页导航:
通过分析分页地址我们可以得出:
这个地址则是我们要采集的内容。第一页 start = 0,第二页 start = 20 ... 以此类推。
找到了要采集的 URL 之后,接下来就是分析我们真正需要的数据在 HTML 文档中的位置。
F12 打开控制台发现,这些 li 标签正是我们的目标内容。