今天就带大家从头到尾一步一步带着大家爬取虎扑论坛帖子的数据,里面涉及到的一些知识,我会给出学习的连接,大家可以自行去学习查看。
前期准备
首先我们打开虎扑NBA论坛,我选择的是湖人专区(小湖迷一个)。虎扑湖人专区
我们需要爬取的数据有这些
好了 每一个小帖子我们需要爬取图中的这七个数据,接下来我们利用浏览器的开发者模型,查看我们需要的东西。
我举个例子:
首先打开浏览器的开发者模式,谷歌浏览器快捷键是F12
点击蓝色方框内的小箭头,点击后放在帖子主题上我们会定位到该主题所在的前端位置。