爬虫爬取微博评论--下--多页爬取(超详细教程,大学生不骗大学生)

本文详细介绍了如何使用Python爬虫抓取微博的多页评论,包括查看和分析分页URL规律,以及在代码中实现从单页扩展到多页的逻辑。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

上次我们已经学会了如何爬取单页的微博评论,但是如果评论过多,只爬取单页的评论是不够的,所以我们需要爬取多页的评论

没看过之前的文章可以看一下

用python语言爬虫爬取微博评论(超详细版,大学生不骗大学生)_微博爬取-CSDN博客

爬虫爬取微博评论--中---结构化接收数据(超详细教程,大学生不骗大学生)-CSDN博客

目录

六、了解分页

6.1 查看分页

6.2 寻找分页的规律

七、多页实现 

八、完整代码


六、了解分页

6.1 查看分页

这里为了方便演示多页的评论,我寻找了一个评论在两千条左右的帖子

找到页面 -> 单机右键 -> 检查元素(审查元素) -> 点击网络(network) -> 点击小的放大镜(搜索)-> 复制一条评论 -> 进行搜索 -> 点击标头(headers) 

PS:之前的文章里有详细的一步一步的操作演示,如果有遇到问题的可以去看一下

 我们能看到这个界面,这是你复制的那条评论所对应的分页的一个URL

在这里我们可以看到这个“buildComments”,这是对应的整篇帖子的评论的包,我们复制这一小部分

注意不要复制多了真正需要复制的其实只有buildComments,也可以自己打,但是为了避免手打出现错误我是比较推荐复制

将这一小部分粘贴至过滤(filt

评论 31
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值