上次我们已经学会了如何爬取单页的微博评论,但是如果评论过多,只爬取单页的评论是不够的,所以我们需要爬取多页的评论
没看过之前的文章可以看一下
用python语言爬虫爬取微博评论(超详细版,大学生不骗大学生)_微博爬取-CSDN博客
爬虫爬取微博评论--中---结构化接收数据(超详细教程,大学生不骗大学生)-CSDN博客
目录
六、了解分页
6.1 查看分页
这里为了方便演示多页的评论,我寻找了一个评论在两千条左右的帖子
找到页面 -> 单机右键 -> 检查元素(审查元素) -> 点击网络(network) -> 点击小的放大镜(搜索)-> 复制一条评论 -> 进行搜索 -> 点击标头(headers)
PS:之前的文章里有详细的一步一步的操作演示,如果有遇到问题的可以去看一下
我们能看到这个界面,这是你复制的那条评论所对应的分页的一个URL
在这里我们可以看到这个“buildComments”,这是对应的整篇帖子的评论的包,我们复制这一小部分
注意不要复制多了真正需要复制的其实只有buildComments,也可以自己打,但是为了避免手打出现错误我是比较推荐复制
将这一小部分粘贴至过滤(filt