用Python爬取bilibili全站用户信息

最新推荐文章于 2025-06-01 22:38:12 发布
转载 最新推荐文章于 2025-06-01 22:38:12 发布 · 6.1k 阅读 · 19 ·
CC 4.0 BY-SA版权
原文链接：https://juejin.im/post/5b8fe524e51d450e531c3dcd
文章标签：

#python #爬虫 #数据库

本文介绍如何使用Python爬取哔哩哔哩（B站）的全站用户信息，包括运行环境、依赖库和代码分析。数据通过官方接口获取，存储在MongoDB数据库中，并对性别分布和用户增长情况进行初步分析。已更新为使用MySQL保存数据。

教你用Python爬取哔哩哔哩全站用户信息

运行

下载

git clone https://github.com/cexll/bili_user_Spider.git
复制代码

运行环境

  • Windows/Ubuntu
  • Python 3.6
  • VSCode

依赖

  • requests
  • pymongo
  • mongodb

使用本脚本请先安装好MongoDB,并且安装好库

pip install -r requirements.txt
复制代码

运行

运行前请进入脚本把cookie和mid改成自己的方便第一时间给数据库增加相应的数据

python3 spider.py
复制代码

思路

这是用思维导图画的一个脚本的大致运行情况

最低0.47元/天 解锁文章
用python爬取B站用户信息，这代码可不能瞎搞哦！
爬遍所有网站
08-22 810
用python爬取B站用户信息 话不多说，直接上代码！ import requests def get_star(url): html = requests.get(url).json()['data'] follower = html['follower'] following = html['following'] print("粉丝数：{}，关注数：{}".format(follower,following)) print("-"*20) def do
Python进行数据爬取
gyz666的博客
03-09 1万+
1.基本的爬虫架构主要包括调度器，URL管理器，网页下载器，网页解析器这些部分，实现价值数据的获取。1.1 URL管理器      对待抓取的URL集合和已抓取的URL集合进行管理，避免重复抓取和循环抓取。      主要有5个部分的功能，判断待添加URL是否在容器中、添加新的URL到待爬取集合、判断是否还有待爬取集合、获取待爬取URL、将URL从待爬取的集合移动到已爬取集合中。     分类：P...
如何用Python爬数据？（一）网页抓取
热门推荐
weixin_33933118的博客
03-03 3万+
你期待已久的Python网络数据爬虫教程来了。本文为你演示如何从网页里找到感兴趣的链接和说明文字，抓取并存储到Excel。 需求 我在公众号后台，经常可以收到读者的留言。 很多留言，是读者的疑问。只要有时间，我都会抽空尝试解答。 但是有的留言，乍看起来就不明所以了。 例如下面这个： 一分钟后，他可...
python爬取bilibili信息（一）
小白巨白的博客
02-27 1609
爬取哔哩哔哩（bilibili） 本人不是计算机专业的专业人员，在书写上会有专业型误差请您谅解，有问题或者错误可以通过笔者qq邮箱：183605463@qq.com 进行沟通，在此感谢您的观看。 初心： 我是一个小白，并且成功的爬取了，我相信大家一定也没问题，所以我的文章涉及到的比较基础，所以比较繁多，我将利用好时间一点一点地为大家推送，希望可以坚持下去，有所学，有所成长。 提前准备： 在网...
python爬虫基本流程-Python爬虫流程
weixin_37988176的博客
10-29 642
Python爬虫流程主要分为三个部分 (1)获取网页-------->(2)解析网页(获取数据)--------->存储数据三个流程的技术实现1.获取网页-获取网页的技术基础：urllib、requests、selenium-获取网页的进阶技术：多线程抓取、登录抓取、突破ip限制和服务器抓取2.解析网页-解析网页的技术基础：re正则表达式、BeautifulSoup和xml-解析网页的进阶技术：解...
Python爬虫实战：爬取Bilibili视频排行榜（动态接口解析与反爬破解）
最新发布
2201_76125261的博客
06-01 1527
Bilibili（简称B站）作为中国领先的弹幕视频分享网站，其视频排行榜反映了当前最受欢迎的视频动态，涵盖动画、娱乐、科技、游戏等多个分类。爬取这些排行数据，可用于内容分析、趋势预测、推荐系统开发等应用场景。
python爬取b站所有视频_如何快速爬取B站全站视频信息
weixin_39901213的博客
12-08 2949
B 站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址动手写码好...
python爬取b站用户_python爬取b站排行榜
weixin_39902472的博客
11-20 562
爬取b站排行榜并存到mysql中目的b站是我平时看得最多的一个网站，最近接到了一个爬虫的课设。首先要选择一个网站，并对其进行爬取，最后将该网站的数据存储并使其可视化。网站的结构目标网站:bilibili排行榜网页的层次首先要确定要提取的信息，也就是标题、播放量、作者up主、评分、播放量和评论量在网页源代码中找到要找的信息每个网页中大概有多条这样的rank-item项目，要提取的信息就包含其中3 ...
Python爬虫练习：bilibili用户信息爬取、下载工具、房天下新房二手房爬虫、简书全站文章爬取等.zip
03-03
Python爬虫练习：bilibili用户信息爬取、下载工具、房天下新房二手房爬虫、简书全站文章爬取等.zip 申明 个人的一些python 爬虫练习 仅限于学习交流 目录 Scrapy-Redis 房天下新房二手房redis分布式爬虫 Scrapy ...
用python爬取B站用户信息
guoxuying的博客
08-21 3607
用python爬取B站用户信息 话不多说，直接上代码！ import requests def get_star(url): html = requests.get(url).json()['data'] follower = html['follower'] following = html['following'] print("粉丝数：{}，关注数：{}".format(follower,following)) print("-"*20) def downl
Python爬取房价信息
12-27
Pyhon爬虫案例-----爬取北京房价，主要功能，爬虫，数据可视化。
python3网络爬虫--爬取b站用户投稿视频信息（附源码）
懷淰メ的博客
11-24 6931
上次写了篇 python3网络爬虫–爬取b站视频评论用户信息（附源码） 效果良好，因此再写一篇爬取用户投稿视频的爬虫，思路简单一些。不过本次将数据存储到了MySQL数据库。 本次要实现：手动输入用户id，程序根据这个id爬取此用户的所有投稿视频，最终将数据存储到MySQL数据库中，并且数据存储到以用户名为数据表名的数据表中。 一．准备工作 1．工具 （1）chrome浏览器 下载地址：https://www.google.cn/chrome/，用于分析网结构。 jsonhandle 用于分析json格式化数
python爬取b站用户_用python爬取B站用户信息，这代码可不能瞎搞哦！
weixin_39652810的博客
11-20 895
用python爬取B站用户信息话不多说，直接上代码！import requestsdef get_star(url):html = requests.get(url).json()['data']follower = html['follower']following = html['following']print("粉丝数：{}，关注数：{}".format(follower,followin...
python爬取数据
Kilvin的博客
02-04 435
文章目录1、基础内容2、数据的获取 1、基础内容 # __name__是一种变量 print(__name__) # 列表解析式 x = [i for i in range(10) if i % 2 == 0] print(x) # 装饰器 --> 加强，一般用加强函数和类 import time def printtime(func): def f(*args, **kwarg...
python数据爬取
Rocky 子叶的博客
04-23 396
#爬取部分 #一:对有标签的内容进行爬取 #打开文件 out=open(‘d:/分表.csv’,‘w’,newline=’\n’,encoding=‘gb18030’) csv_write=csv.writer(out,dialect=‘excel’) #数据爬取 for page in range (1,285): 略 xpath1=’//*[@id=“problemset”]/tbody’ d...
python 爬取数据
m0_46950915的博客
12-01 515
爬取古诗文网中的一篇古诗一、使用步骤1.引入库2.获取网页的HTML3.获取xpath4.存储为txt文档总结 文章目录一、使用步骤1.引入库2.获取网页的HTML3.获取xpath4.存储为txt文档总结 提示：以下是本篇文章正文内容，下面案例可供参考 一、使用步骤 1.引入库 导入requests库和etree库 import requests from lxml import etree 2.获取网页的HTML html=requests.get('https://so.gushiwen.org
抓取B站所有用户信息(11/29更新数据)
Qwertyuiop2016的博客
04-14 2万+
有时候没有实际需求，那学习就只能从爱好入手了。 目前我所想到的一些感兴趣的任务有，B站所有用户、B站视频下载、B站弹幕和评论分析(这个就有意思了，弹幕和评论是可以知道是谁发的，那么当你有了B站所有弹幕和评论的时候，你就可以从一个人发的弹幕和评论分析这个人的性格特点，不过想要所有数据，这几乎是不可能的，代理数量和质量达不到)、虎牙和斗鱼直播视频和弹幕实时获取(主要是没时间去看，只能下下来空闲的时候...
python 获取b站 全站用户信息 并筛选直播用户 & 仅获取直播分区用户信息
Love丶伊卡洛斯
02-20 1197
本程序是项目的一个子程序，用于获取用户信息，并筛选直播用户。uid从1开始累加搜索全站。
使用python进行简单的爬取
bucketyoung的博客
03-23 240
使用一个列表存储要爬取的网站地址，然后定义一个spider函数，用于处理每个网站的爬取任务。在主程序中，创建多个线程，并使用Thread类创建线程对象。将spider函数作为线程的目标函数，并将要爬取的网站地址作为参数传递给它。然后，使用start方法启动线程，并将线程对象添加到线程列表中。最后，使用join方法等待所有线程完成。
Python爬取B站视频与音频分离下载技术解析
首先，标题“Python爬取B站视频[项目源码]”明确指出了项目的实现语言为Python，这是一种广泛应用于数据采集、自动化处理和网络编程的高级编程语言，具备丰富的第三方库支持，如requests用于发送HTTP请求，re用于...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值