新浪微博大v博客信息抓取与活跃度清博指数BCI分析Python

新浪微博大v博客信息抓取与活跃度清博指数BCI分析Python
1.清博指数BCI介绍
介绍链接:http://www.gsdata.cn/site/usage-2
清博指数简单来说就是衡量用户的知名度、活跃度,以便广告商了解一个微博账号是否值得投放广告
2.新浪微博用户数据抓取思路分析
首先根据清博指数我们要抓取7个关键字段:
发博数X1、原创微博数X2、转发数X3、评论数X4、原创微博转发数X5、原创微博评论数X6、点赞数X7。
我一开始试过,直接爬取用户能访问到的界面根本爬不出真实数据(新浪微博也是有一定的反爬虫技术的)
经过无数次的探索后,我终于找到的真正的数据入口:
weibo_url = ‘https://m.weibo.cn/api/container/getIndex?type=uid&value=’ + bozhu_id + ‘&containerid=’ + containerid + ‘&page=’ + str(i)
其中,博主id是图片中的oid
在这里插入图片描述
containerid是每条信息对应的id,要先有博主id,才能爬取信息id
这些都能分析出来后就能对应json数据,之后就是json解析与数量计算了
3.结果展示
在这里插入图片描述
4.后记
想要借鉴源码的评论留言

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值