Python,爬取微博评论,再也不怕女朋友让你变成青蛙王子了?

提交Cookie信息模拟微博登录

需要爬取登录之后的信息,大家都是望而止步,不要担心,今天呢,给大家提供一个超级简单的方法,就是提交Cookie信息登录微博,首先,我们找到某明星的微博网址:http://m.weibo.cn/u/1732927460 这里是登录的移动端,你会发现,你点击网址会自动跳转到登录微博的界面(没有跳转的注销掉自己的账号),如下图所示:

在这里插入图片描述

然后登录自己的账号密码,这时记得打开Fiddler进行抓包,如图所示,提取Cookie做为请求某明星微博网址的请求头即可。

在这里插入图片描述

异步加载数据如何爬取

我在网上看过移动端的微博数据很好爬,没有异步加载,可是不知道为什么,我的评论数据就是异步加载的,其实异步加载不可怕,找到相应js包即可,如下图为某明星的一条微博和评论的js包。我们只需请求这个js数据,然后利用json库即可提取我们所需的评论数据。

在这里插入图片描述

在这里插入图片描述

代码

在这里插入图片描述

爬取的数据导入数据库后又导出为csv格式进行分析

词云制作及分析

在这里插入图片描述

可以说支持的评论更多一些:例如爱你,喜欢,坚强等等;不过也有不少的恶意评论:黑,恶心,讨厌等。

总结

1、Cookie提交是一个简单不错的选择,但Cookie信息隐藏着隐私,大家千万别暴露在外面,以防外人所利用。
2、异步加载不可怕,找包有技巧,有id,vid等字段的嫌疑最大,多练习就行。

现在还有大礼包免费赠送
推荐一下我建的python学习交流扣扣qun:850973621,群里有免费的视频教程,开发工具、
电子书籍、项目源码分享。学习python web、python爬虫、数据分析、大数据,人工智能等
技术有不懂的可以加入一起交流学习,一起进步!

  • 8
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
根据引用\[1\]和引用\[2\]的内容,可以使用以下代码来取出列表中的“狼”并打印出来: ```python townee = \[ {'海底王国':\['小美人鱼','海之王','小美人鱼的祖母','五位姐姐'\], '上层世界':\['王子','邻国公主'\]}, '丑小鸭','坚定的锡兵','睡美人','青蛙王子', \[{'主角':'小红帽','配角1':'外婆','配角2':'猎人'},{'反面角色':'狼'}\] \] print(townee\[5\]\[0\]\['反面角色'\]) ``` 以上代码中,`townee\[5\]`表示取出列表中的第6个元素,即包含字典的列表。然后使用`\[0\]`来取出字典中的第一个元素,即`{'主角':'小红帽','配角1':'外婆','配角2':'猎人'}`。最后使用`\['反面角色'\]`来取出字典中的键为'反面角色'的值,即"狼"。 #### 引用[.reference_title] - *1* [Python02--元组字典列表](https://blog.csdn.net/qq_41953252/article/details/100552870)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [python笔记-数组](https://blog.csdn.net/qq_35087942/article/details/122974245)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值