[我叫以赏]Python获取B站UP主粉丝数

 

前言

不少人对B站粉丝数有着强烈的“控制感”,特别是B站用户“老番茄”的粉丝数要达到1000万了,不少人想要见到突破1000w粉的那一瞬间,虽然有很多网站提供了B站粉丝走图、粉丝统计等功能但是谁不想知道后面的原理呢?谁又不想获得制作成功的那份成就呢?这篇文章,将会带领您一起使用Python编程!

 

接口

如果你对B站用户首页有进行抓包,以 老番茄 为例,那你肯定会找到这样一串数据:

地址:https://api.bilibili.com/x/web-interface/card?mid=546195 方式:GET

返回的数据为:

返回数据

这一串数据里包含了 用户姓名 、 用户简介 、用户粉丝数等公开的个人信息。而我们需要的是粉丝数。认真分析一下后发现这串数据是一个字典,通过PyCharm分析应该为这个样子:

分析结果

假设这串字符在一个变量 Dict 里,那么粉丝数 应该表示为

Dict['data']['follower'] 或者为 Dict['data']['card']['fans'](有两个地方标记)

 

开始编程

我们的思路如下:

  • 6
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
【资源说明】 基于python selenium实现B直播弹幕和礼物信息爬虫源码+项目操作说明.zip 实现原理: 1.核心:数据去重 直播间网页页面可容纳的弹幕和礼物数据是有限的,且这些数据不断地在更新增加,超过一定量后,将会发生滚动覆盖。 程序每隔一段时间读取一次页面数据,若页面数据没有超出容量,则两次获取的数据在后段会有部分重复。若页面数据已经开始滚动,则两次获取的数据在位置上会发生错位。因此每获取一次数据就需要进行一次比较去重。 **去重原理如下图:(在twice数据列表中寻找与once数据列表末端元素相同的元素,扩展once数据列表。)** **一次去重后,once数据列表可以保留作为数据总列表,而twice数据列表可被新的一批数据覆盖,这样就可以实现重复去重** ![image](https://img.wenhairu.com/images/2021/02/25/EGByH.md.png) 2.要方法 (1)网页数据定位方法:selenium浏览器对象访问指定直播间url,返回页面源码,再使用xpath定位对应html标签。 (2)加速去重方法:使用线程池,对弹幕和礼物列表同时去重。 (3)运行时长控制:分为两种模式,运行指定时长和运行至直播间关闭。 (4)抓取监控:每进行一次抓取并去重后,使用print输出一次数据列表,以实现对抓取数据的实时监控。 (5)数据抓取频率:分为两种模式,快模式和慢模式,具体可根据弹幕流量和直播间人数选择。快模式每0.5秒左右读一次页面数据,两类数据最大缓存量都为400条;慢模式每1秒左右读一次页面数据,两类数据最大缓存量都为200条。 (6)数据存储:当数据缓存量大于最大缓存量写入csv一次,并清空数据缓存,避免大量数据堆积。 三、使用注意事项 1.python环境下直接运行 (1)模块依赖安装: ```shell pip install selenium pip install lxml ``` (2)下载浏览器驱动(驱动与浏览器版本一定要对应)(浏览器推荐使用Firefox和Chrome):参考 [爬虫利器selenium和浏览器驱动安装教程](https://blog.csdn.net/qq_44032277/article/details/105793873) (3)修改浏览器驱动路径及配置: ```python # 如果使用的浏览器是chrome,第97行代码改为: bro = webdriver.Chrome('你的驱动路径', chrome_options = chrome_options) ``` ```python # 如果使用的浏览器是firefox,删除4行,改为: from selenium.webdriver.firefox.options import Options # 删除94-97行,改为: ff_options = Options() ff_options.add_argument('-headless') bro = webdriver.Firefox('你的驱动路径', firefox_options = ff_options) ``` (4)运行提示:程序在发送请求获取数据时可能因网络不稳定而报错,此时等待其快速重连即可,一般不会影响程序运行。 (5)建议:建议在控制台运行该py源码,因为其清理输出依赖于cmd 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值