Pyhon爬虫 | 获取b站当前在线人数---获取数据并保存在数据库中

本文详细阐述了一种使用Python爬虫定时获取B站在线人数的方法,通过请求API接口,解析JSON数据,然后利用Python的json和time库处理数据,最终将数据存储到MySQL数据库中,为后续的数据分析和可视化做准备。
摘要由CSDN通过智能技术生成

本文介绍了如何获取b站当前在线人数的一种方法
本文同步发布雨我的个人博客–弋江畔

写在前面

在2019年底的时候,b站主页右侧的在线人数按钮不再显示当前在线人数,但任然可以通过一个api接口获取,此爬虫就可以通过这个接口按时获取在线人数数据。

思路分析

  1. 请求接口获取数据
  2. 分析返回值,求得所需数据
  3. 将数据储存在数据库中
  4. 绘制图表,观察规律

绘制图表的方法将在日后更新

代码部分

  1. 请求接口获取数据
    通过网上搜索得知目前返回在线人数的接口地址为:
    https://api.bilibili.com/x/web-interface/online?&;jsonp=jsonp
    打开之后获得以下数据:接口返回值
    观察之后可知为JSON格式,通过在线工具(一个非常好用的JSON在线解析网站)解析之后,得到下面这些内容:返回值
    至此数据获取完毕。

  2. 分析返回值,求得所需数据
    分析可知其中的web_online为我们所期望的值(其余值的意义在以后的文章中会解释),为了获取此值需调用python中的json库。
    josn数据的格式类似于python中的字典,因此对返回的json格式的值需要进行处理,也就是调用 json.loads() 函数,其作用是是将json格式数据转换为字典,这样就可以通过来进行数据的读取,其中在线人数的键为 [‘data’][‘w

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值