〇、前情提要
b站跟着up主 龙王山小青椒 学习爬虫。
参考:
- python爬虫-微博评论-武大樱花雨为例
https://www.bilibili.com/video/BV1s7411U7AS - 人民日报 【#武汉大学樱花雨#[心]】微博
https://m.weibo.cn/detail/4485613145089303 - 解决chrome控制台查不到请求头的cookie
https://blog.csdn.net/qq_36838406/article/details/101943872 - 【mac】使用jsonview在chrome中将json层级展示
https://blog.csdn.net/weixin_43210113/article/details/107658947
提示:
尊重up劳动成果,不放源代码了。支持的请去一键三连后找up要噢~
我用的微博页面和up主不同,请勿因立场问题开麦。
一、数据源-移动网页端微博
网址解析
网址https://m.weibo.cn/detail/4485613145089303
,https://m.weibo.cn
为微博移动网页端,/detail
为评论页,/4485613145089303
为该条微博的id。
二、cookie获取
原因
由于微博的限制,必须登录后才能看到所有评论,所以要先获取cookie。
如何获取
打开检查,网络(如果此时无内容就command+r刷新页面),选中XHR资源,找Type为fench的文件单击。
展开Request Headers,找到Cookie,可以放到代码中用来登录查看评论。