新浪微博大v博客信息抓取与活跃度清博指数BCI分析Python
1.清博指数BCI介绍
介绍链接:http://www.gsdata.cn/site/usage-2
清博指数简单来说就是衡量用户的知名度、活跃度,以便广告商了解一个微博账号是否值得投放广告
2.新浪微博用户数据抓取思路分析
首先根据清博指数我们要抓取7个关键字段:
发博数X1、原创微博数X2、转发数X3、评论数X4、原创微博转发数X5、原创微博评论数X6、点赞数X7。
我一开始试过,直接爬取用户能访问到的界面根本爬不出真实数据(新浪微博也是有一定的反爬虫技术的)
经过无数次的探索后,我终于找到的真正的数据入口:
weibo_url = ‘https://m.weibo.cn/api/container/getIndex?type=uid&value=’ + bozhu_id + ‘&containerid=’ + containerid + ‘&page=’ + str(i)
其中,博主id是图片中的oid
containerid是每条信息对应的id,要先有博主id,才能爬取信息id
这些都能分析出来后就能对应json数据,之后就是json解析与数量计算了
3.结果展示
4.后记
想要借鉴源码的评论留言
新浪微博大v博客信息抓取与活跃度清博指数BCI分析Python
最新推荐文章于 2021-08-12 19:46:24 发布