R语言微博评论爬虫练习

1.随意选个热点微博

 

2. 参考

R微博数据分析

 http://blog.sina.com.cn/s/blog_9bed162b0102wu1w.html

R语言实现代码
devtools::install_github("sjhfx/rwda")
library(rwda)
access_token = "2.00xxxxxxxxx"
weiboid = "4181525459234737"
df_comments = get_comments(access_token, weiboid, maxpage = 20)
weibo_cloud(df_comments, stopwords = c("心心", "回复"))
 
3. 看看大家的看法

 

 
过程中遇到的困难主要在于 获取新浪微博的access_token , access_token可以通过 http://open.weibo.com/tools/console 获取。
个人创建了一个网页应用,最后获取access_token时采用的方法是 用谷歌浏览器,添加应用 Postman,在Postman中运用Post 请求获取access_token。
 
最后,顺手

 又顺手

 

转载于:https://www.cnblogs.com/JaniceZD/p/7986962.html

Python微博评论爬虫是一种用Python编写的程序,用于获取微博评论数据。爬虫的整体步骤可以分为以下几个部分。 首先,需要登录手机微博官网,并获取到微博页面的截图。这个步骤主要是为了获取到微博的唯一序列号,即mid,以便后续获取评论数据使用。 接下来,需要找到有效的js包地址,其中包含了评论数据。通过删除多余的参数,我们可以得到有效的js包地址,如"https://weibo.com/aj/v6/comment/small?mid=4465267293291962"。 然后,我们需要通过Fiddler等工具搜索微博页面中的mid信息,这些信息可以在微博的属性中找到。通过提取这些mid信息,我们可以获取到每条微博评论数据。 在编写爬虫程序时,需要使用到一些工具和库,如Python的requests库、json库、lxml库、urllib库、jieba库(用于分词)、WordCloud库(用于生成词云)。这些工具和库可以帮助我们发送请求、解析数据、进行分词和生成词云。 综上所述,通过以上步骤和使用相关工具和库,我们可以编写一个Python微博评论爬虫,用于获取微博评论数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [python爬虫之爬取手机微博评论(图文并排,炒鸡详细!!!)](https://blog.csdn.net/qq_37708702/article/details/104906832)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [【Python爬虫实例学习篇】——5、【超详细记录】从爬取微博评论数据(免登陆)到生成词云](https://blog.csdn.net/qq_40528553/article/details/104095304)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值