bilibili助手C2C服务器,Bilibili (B站)200万用户数据爬取与分析(附源码)

原标题:Bilibili (B站)200万用户数据爬取与分析(附源码)

数据挖掘入门与实战 公众号: datadw

该爬虫仅供学习使用

B站用户爬虫

B站视频爬虫

B站弹幕下载器

关注并回复公众号datadw 关键词: B站获取源码地址

文件介绍

bilibili_user.py:爬虫文件

bilibili_user_info.sql:数据库文件

get_face.py:用户头像下载器基本概况

f88ca00c4c0600c3b7fbf185057db69a.png

总数据数:20119918

抓取用户的顺序为其注册时间顺序:2009-06-24 14:06:54 至 2016-02-18 21:04:52

预估遗漏数据:不超过 2%

抓取字段:用户 id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等。性别

有效数据:14643019

保密:11621898

男:1674196

女:1346925

这个男女比例是有点出乎个人预料的,接近 1:1。其实之前初步抓了 2013 年暑假之前的数据,男女比例当时还在 3:1 这样。

可见明确性别的群体还是比较少的,只占了总数据的 15% 左右。

更多的分析日后再做。

年龄

统计范围:1970-2010(1980 年除外)

总数据:3800767

具体数据不放了,简单看一下统计结果吧。

主要用户分布在 93-00 年的用户(大概 16-23 周岁),其中 97 年(19 岁)用户占了绝对的主导地位。

事实证明,B 站小学生并不多,而是高中生、大学生比较多。

90 后用户占主体,但是用户年龄段正在不断后移。毕竟,是一个年轻人的网站。

地区

分析范围:国内 34 个省市及地区。

有效数据:863541

主要用户分布在:广东、江苏、北京、上海、浙江等地区。都是一些经济很发达的沿海地区。

注册时间

统计时间:2009-06-24 14:06:54 至 2016-02-18 21:04:52

总数据:20119823

由于 16 年才过去 2 个多月,所以少一点,不过可以预见其发展必将远超 2015 年。自 2009 年开站以来,每年用户几乎都是以指数级增长。

活跃度统计

等级范围:0 – 6

总数据:20119918

截止时间:2016-02-18

由于 B 站有经验等级规则,用户的活跃度可以依据等级判断。

等级为 0,就是只注册未登陆过的用户。等级为 1 或 2,为非活跃用户。等级为 3 以上,就是活跃用户。其中等级为 5 或 6 的,为投稿数特别特别多、视频特别火爆的用户,为 B 站的主干用户(约 5000 人)。

关于留存率等数据,日后再统计分析。

粉丝统计

有效数据:2011918

范围:0 – 988323

截止时间:2016-02-18 21:04:52

哎 – -,我也是有 2 个粉丝的人!

以下是 B 站 TOP20 用户。很多人都非常的眼熟哈。

https://gekspider.org/geek/223.html

数据挖掘入门与实战

教你机器学习,教你数据挖掘

公众号: weic2c

责任编辑:

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值