Python爬取新浪微博评论数据,了解一下?

本文介绍如何使用Python模拟登录新浪微博移动端,抓取特定微博的评论数据。通过解析网页接口,获取每页评论,并利用相关模块如requests、jieba等处理数据。示例代码展示了详细步骤,包括登录、请求评论数据、处理反爬策略以及数据保存。最后,还展示了如何绘制评论词云。
摘要由CSDN通过智能技术生成

开发工具


**Python版本:**3.6.4
相关模块:
argparse模块;
requests模块;
jieba模块;
wordcloud模块;

以及一些Python自带的模块。


环境搭建



安装Python并添加到环境变量,pip安装需要的相关模块即可。



原理简介

一. 爬虫目标

爬取某条微博底下的评论数据。

二. 模拟登录

爬像新浪微博这样的大网站,不用想就知道不登录肯定是爬不了多少数据的(事实就是不登录的话只能爬第一页的评论数据)。

这里为方便起见,我们选择用微博的移动端接口进行模拟登录。即:

https://passport.weibo.cn/sig…

界面如下:

简单抓包可以发现登录链接为:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值