python爬取B站关注列表

已于 2022-01-20 00:20:14 修改
阅读量3w 收藏 34
点赞数 13
分类专栏： 爬虫 文章标签： python 爬虫 数据库 sqlite3 sql
于 2022-01-13 17:41:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21008741/article/details/122473052
版权

python爬取B站关注列表

一、数据库的设计与操作

1、数据的分析

在这里插入图片描述
B站的关注列表在

https://api.bilibili.com/x/relation/followings?vmid=UID&pn=1&ps=50&order=desc&order_type=attention

中，一页最多50条信息。

我们大致分析一下信息，

{
	"code": 0,
	"message": "0",
	"ttl": 1,
	"data": {
		"list": [{……

首先，列表内容存在data:list里。

其次，对于列表中每一项，有如下信息


			"mid": 672353429,
			"attribute": 2,
			"mtime": 1630510107,
			"tag": null,
			"special": 0,
			"contract_info": {
				"is_contractor": false,
				"ts": 0,
				"is_contract": false,
				"user_attr": 0
			},
			"uname": "贝拉kira",
			"face": "http://i2.hdslb.com/bfs/face/668af440f8a8065743d3fa79cfa8f017905d0065.jpg",
			"sign": "元气满满的A-SOUL舞担参上~目标TOP IDOL，一起加油！",
			"official_verify": {
				"type": 0,
				"desc": "虚拟偶像团体A-SOUL 所属艺人"
			},
			"vip": {
				"vipType": 2,
				"vipDueDate": 1674576000000,
				"dueRemark": "",
				"accessStatus": 0,
				"vipStatus": 1,
				"vipStatusWarn": "",
				"themeType": 0,
				"label": {
					"path": "",
					"text": "年度大会员",
					"label_theme": "annual_vip",
					"text_color": "#FFFFFF",
					"bg_style": 1,
					"bg_color": "#FB7299",
					"border_color": ""
				},
				"avatar_subscript": 1,
				"nickname_color": "#FB7299",
				"avatar_subscript_url": "http://i0.hdslb.com/bfs/vip/icon_Certification_big_member_22_3x.png"
			}

其中，mid为用户独一无二的UID，vipType，0是什么都没开，1是大会员，2是年度大会员，official_verify中，type 0代表官方认证，-1代表没有官方认证。

同时我们发现，如果对方锁了列表，会返回

{"code":-400,"message":"请求错误","ttl":1}

2、数据库设计

基于这些，我们先设计数据库，包含两张表，用户信息的基本属性表和关注的关系表。

def createDB():

    link=sqlite3.connect('BiliFollowDB.db')
    
    print("database open success")
    
    UserTableDDL='''
                create table if not exists user(
                UID int PRIMARY KEY     NOT NULL,
                NAME varchar            NOT NULL,
                SIGN varchar            DEFAULT NULL,
                vipType int             NOT NULL,
                verifyType int          NOT NULL,
                verifyDesc varchar      DEFAULT NULL)
                '''
    
    RelationTableDDL='''
                create table if not exists relation(
                follower int           NOT NULL,
                following int          NOT NULL,
                followTime int         NOT NULL,
                PRIMARY KEY (follower,following),
                FOREIGN KEY(follower,following) REFERENCES user(UID,UID)
                )
                '''
    
    # create user table
    link.execute(UserTableDDL)
    
    # create relation table
    link.execute(RelationTableDDL)
    
    print("database create success")
    
    link.commit()
    link.close()

3、数据库操作

其次是插入新用户的列表，我的思路是爬完一个人的关注列表，把一整个list丢给该函数，判断是否存在新增用户，存在则把新增用户传回，作为下一次爬虫的起点。

def insertUser(infos):
    
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    InsertCmd="insert into user (UID,NAME,vipType,verifyType,sign,verifyDesc) values (?,?,?,?,?,?);"
    
    ExistCmd="select count(UID) from user where UID='%d';"# % UID
    
    newID=[]
    
    for info in infos:
        answer=link.execute(ExistCmd%info['uid'])
        for row in answer:
            exist_ID=row[0]
        
        if exist_ID==0:
            newID.append(info['uid'])
            link.execute(InsertCmd,(info['uid'],info['name'],info['vipType'],info['verifyType'],info['sign'],info['verifyDesc']))
            
    conn.commit()
    conn.close()
    
    return newID

然后是插入关系的函数，这个比较简单

def insertFollowing(uid:int,subscribe):
    
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    InsertCmd="insert into relation (follower,following,followTime) values (?,?,?);"
    
    for follow in subscribe:
        link.execute(InsertCmd,(uid,follow[0],follow[1]))
        
    conn.commit()
    conn.close()

二、爬虫

通过观察，我们发现睿叔叔锁了5页的关注列表
在这里插入图片描述
即使是人工操作也只能访问5页，那没办法啦，我们就爬5页吧。

def getFollowingList(uid:int):
    
    url="https://api.bilibili.com/x/relation/followings?vmid=%d&pn=%d&ps=50&order=desc&order_type=attention&jsonp=jsonp"# % (UID, Page Number)
    
    infos=[]
    
    subscribe=[]
    
    for i in range(1,6):
        html=requests.get(url%(uid,i))
        if html.status_code!=200:
            print("GET ERROR!")
            
        text=html.text
        dic=json.loads(text)
        
        if dic['code']==-400:
            break
    
        list=dic['data']['list']
        
        for usr in list:
            info={}
            info['uid']=usr['mid']
            info['name']=usr['uname']
            info['vipType']=usr['vip']['vipType']
            info['verifyType']=usr['official_verify']['type']
            info['sign']=usr['sign']
            if info['verifyType']==-1:
                info['verifyDesc']='NULL'
            else :
                info['verifyDesc']=usr['official_verify']['desc']
            
            subscribe.append((usr['mid'],usr['mtime']))
            infos.append(info)
        
    newID=insertUser(infos)
    insertFollowing(uid,subscribe)
    
    return newID

三、完整代码

#by concyclics
# -*- coding:UTF-8 -*-

import sqlite3
import json
import requests

def createDB():

    link=sqlite3.connect('BiliFollowDB.db')
    
    print("database open success")
    
    UserTableDDL='''
                create table if not exists user(
                UID int PRIMARY KEY     NOT NULL,
                NAME varchar            NOT NULL,
                SIGN varchar            DEFAULT NULL,
                vipType int             NOT NULL,
                verifyType int          NOT NULL,
                verifyDesc varchar      DEFAULT NULL)
                '''
    
    RelationTableDDL='''
                create table if not exists relation(
                follower int           NOT NULL,
                following int          NOT NULL,
                followTime int         NOT NULL,
                PRIMARY KEY (follower,following),
                FOREIGN KEY(follower,following) REFERENCES user(UID,UID)
                )
                '''
    
    # create user table
    link.execute(UserTableDDL)
    
    # create relation table
    link.execute(RelationTableDDL)
    
    print("database create success")
    
    link.commit()
    link.close()
    

def insertUser(infos):
    
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    InsertCmd="insert into user (UID,NAME,vipType,verifyType,sign,verifyDesc) values (?,?,?,?,?,?);"
    
    ExistCmd="select count(UID) from user where UID='%d';"# % UID
    
    newID=[]
    
    for info in infos:
        answer=link.execute(ExistCmd%info['uid'])
        for row in answer:
            exist_ID=row[0]
        
        if exist_ID==0:
            newID.append(info['uid'])
            link.execute(InsertCmd,(info['uid'],info['name'],info['vipType'],info['verifyType'],info['sign'],info['verifyDesc']))
            
    conn.commit()
    conn.close()
    
    return newID



def insertFollowing(uid:int,subscribe):
    
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    InsertCmd="insert into relation (follower,following,followTime) values (?,?,?);"
    
    for follow in subscribe:
        try:
            link.execute(InsertCmd,(uid,follow[0],follow[1]))
        except:
            print((uid,follow[0],follow[1]))
        
    conn.commit()
    conn.close()
    
    
    
def getFollowingList(uid:int):
    
    url="https://api.bilibili.com/x/relation/followings?vmid=%d&pn=%d&ps=50&order=desc&order_type=attention&jsonp=jsonp"# % (UID, Page Number)
    
    infos=[]
    
    subscribe=[]
    
    for i in range(1,6):
        html=requests.get(url%(uid,i))
        if html.status_code!=200:
            print("GET ERROR!")
            return []
            
        text=html.text
        dic=json.loads(text)
        
        if dic['code']==-400:
            return []
    
        try:
            list=dic['data']['list']
        except:
            return []
        
        for usr in list:
            info={}
            info['uid']=usr['mid']
            info['name']=usr['uname']
            info['vipType']=usr['vip']['vipType']
            info['verifyType']=usr['official_verify']['type']
            info['sign']=usr['sign']
            if info['verifyType']==-1:
                info['verifyDesc']='NULL'
            else :
                info['verifyDesc']=usr['official_verify']['desc']
            
            subscribe.append((usr['mid'],usr['mtime']))
            infos.append(info)
        
    newID=insertUser(infos)
    insertFollowing(uid,subscribe)
    
    return newID

def getFollowingUid(uid:int):
    url="https://api.bilibili.com/x/relation/followings?vmid=%d&pn=%d&ps=50&order=desc&order_type=attention&jsonp=jsonp"# % (UID, Page Number)
    
    for i in range(1,6):
        html=requests.get(url%(uid,i))
        if html.status_code!=200:
            print("GET ERROR!")
            return []
        
        text=html.text
        dic=json.loads(text)
        
        if dic['code']==-400:
            return []
        
        try:
            list=dic['data']['list']
        except:
            return []
        
        IDs=[]
        
        for usr in list:
            IDs.append(usr['mid'])

        return IDs

def work(root):
    
    IDlist=root
    tmplist=[]
    while len(IDlist)!=0:
        tmplist=[]
        for ID in IDlist:
            print(ID)
            tmplist+=getFollowingList(ID)
            
        IDlist=tmplist
        
def rework():
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    SelectCmd="select uid from user;"
    
    answer=link.execute(SelectCmd)
    
    IDs=[]
    
    for row in answer:
        IDs.append(row[0])
        
    conn.commit()
    conn.close()
    
    newID=[]
    
    print(IDs)
        
    for ID in IDs:
        ids=getFollowingUid(ID)
        for id in ids:
            if id not in IDs:
                newID.append(id)
    
    return newID

    

if __name__=="__main__":

    createDB()
    
    #work([**put root UID here**,])

四、项目仓库

如果您觉得有所收获的话，麻烦帮我点个小小的star

concyclics
关注
  • 13
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
获取B站某用户更多的关注数和粉丝数
Enderman_xiaohei的博客
08-28 3001
获取B站某用户更多的关注数和粉丝数 相关记录 一、 前言 B 站最多只能翻 5 页用户的关注数和粉丝数，如何能够看到更多呢。 方法我也是从网上翻来的，记载博客里，算是我研究过这个话题了。 二、需要的东西 关注数的 api https://api.bilibili.com/x/relation/followings?vmid=2884629&pn=1&ps=20&order=desc&jsonp=jsonp 关注者（粉丝）的 api https://api.bilibili.
Python爬取养老信息网代码
04-09
80行Python代码爬取全国养老信息网数据，可以作为科研研究对象和资料，爬取的内容和数据条数，你可以自己设置，直接可以运行！！！！
抓取B站所有用户信息(11/29更新数据)
热门推荐
Qwertyuiop2016的博客
04-14 1万+
有时候没有实际需求，那学习就只能从爱好入手了。 目前我所想到的一些感兴趣的任务有，B站所有用户、B站视频下载、B站弹幕和评论分析(这个就有意思了，弹幕和评论是可以知道是谁发的，那么当你有了B站所有弹幕和评论的时候，你就可以从一个人发的弹幕和评论分析这个人的性格特点，不过想要所有数据，这几乎是不可能的，代理数量和质量达不到)、虎牙和斗鱼直播视频和弹幕实时获取(主要是没时间去看，只能下下来空闲的时候...
用Python爬取B站我关注的人关注的人关注的人
个人博客
10-26 4879
爬取B站我关注的人关注的人关注的人 本项目最后更新于2018-6-4，可能会因为没有更新而失效。如已失效或需要修正，请联系我！ 本项目已授权微信公众号“菜鸟学Python”发表文章 爬取B站10万数据，看看都有哪些热门的UP主 在写这个项目时，我还不会Python的协程编程，用协程可提升爬虫速度至少5倍，参考我的文章线程，协程对比和Python爬虫实战说明 声明 代码、教程均为张思淡本人原创，且...
micropython-esp8266，获取B站粉丝和关注人数
WillPower
08-31 673
首先下载ESP8266下载工具点击下载烧录固件工具地址 点击下载固件 将ESP8266插入电脑中，打开工具 ,选择 然后选择烧录好的固件，先擦除 然后地址选为0x0000开始，点击烧录 然后下载上传下载文件的工具,uPyCraft下载以及使用 下载完成后，首先打开软件，点击连接串口，进入交互模式REPL 有>>>这个符号，表示成功进入Python环境 在下面的窗口可以输入print('hello world!') 就可以进入今天的主题了！ impor.
基于scrapy的B站UP主信息爬取
King
02-19 3596
scrapy爬虫实战项目（scrapy爬取数据+写入MySQL数据库）
python爬取B站千万级数据，发现了这些热门UP主的秘密！
qq_42238397的博客
06-07 5368
Python（发音：英[?pa?θ?n]，美[?pa?θɑ:n]），是一种面向对象、直译式电脑编程语言，也是一种功能强大的通用型语言，已经具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法非常简捷和清晰，与其它大多数程序设计语言不一样，它使用缩进来定义语句。Python支持命令式程序设计、面向对象程序设计、函数式编程、面向切面编程、泛型编...
B站收藏夹快速导出详细步骤
qq_49018318的博客
02-18 7490
B站收藏夹通常只能观看内容，而不能直接通过自身操作批量导出。网络上之前也有类似的教程，但相对简化，省略了部分步骤，对我这类的手残党来说着实不太友好，于是在实操中花了不少时间摸索。通过以下步骤可以快速批量地导出收藏夹列表： 1、使用电脑登陆B站，浏览器最好是chrome（火狐）浏览器。点开右上角的“收藏”。 2、选择想要导出的收藏夹，等待页面加载，一般5秒左右即可。 3、按F12，稍等就可以出现下图的工具栏，选择控制台“Console”,并在绿色方框内的空白处右键选择“Clear console
常用网站URL规划分析
分享博主日常学习和使用的一些技术
04-11 6840
更新与2020-04-11 B站 我想要做的就是看看b站用户名称的规律，所以我要获取所有用户的昵称信息。 发现user_id好像是自增的，那么是否可以暴力遍历，获取到所有用户的user_id呢？ 问题：时间成本和存储成本 时间成本 python遍历1亿次本身是需要时间，大概需要5秒 python发送http请求需要时间，每个请求大约需要0.1秒的时间 如果单纯的串行，大概需要的时间为100000...
API获取Bilibili用户数据
Y5neKO's blog
10-16 1万+
熟悉我的朋友都知道，我呢在B站发展着一个号，因为没有技术的原因，目前还有很多作品为转载，现在发展得还算有了个人样，每天又看着野生技术协会的大佬发了那么多的文章，心里想着自己好歹也整一点技术相关的活吧。 说干就干，今天硬是宅在家分析了一下午关于B站API相关的东西。 开发者工具找API 先来到B站主页或者自己的个人主页，记得登录状态 这里拿我的做演示（顺便安利一波） 我的个人主页：https://space.bilibili.com/35199034 F12打开开发者工具，可以看到众多的请求： 我们在其中
python爬取cnvd漏洞库信息的实例
01-01
今天一同事需要整理http://ics.cnvd.org.cn/工控漏洞库里面的信息，一看960多个要整理到什么时候才结束。 所以我决定写个爬虫帮他抓取数据。 看了一下各类信息还是很规则的，感觉应该很好写。 but这个网站设置了各种反爬虫手段。 经过各种百度，还是解决问题了。 设计思路： 1.先抓取每一个漏洞信息对应的网页url 2.获取每个页面的漏洞信息 # -*- coding: utf-8 -*- import requests import re import xlwt import time from bs4 import BeautifulSoup headers = { 'A
批量爬取B站小视频.rar
10-30
批量爬取B站小视频.rar
python爬取携程网评论.zip
11-10
python爬取携程网评论.zip
python爬取淘宝商品价格
07-26
Python爬取淘宝商品价格的功能描述如下： 用户输入要查询的淘宝商品名称或关键字。 使用Python的requests库向淘宝网发送GET请求，带上用户输入的关键字作为参数，获取搜索结果页面的HTML内容。 使用BeautifulSoup库解析HTML内容，提取商品列表中每个商品的URL。 遍历商品URL列表，对每个URL发送GET请求，获取商品详情页的HTML内容。 使用BeautifulSoup库解析商品详情页的HTML内容，定位到商品价格所在的元素。 提取商品价格，并保存到一个列表或字典中，可以包括商品名称、价格等相关信息。 继续遍历其他商品URL，重复步骤5和6，直到所有商品的价格都被提取。 将爬取到的商品价格进行展示，可以通过打印到控制台、写入文件或者展示在GUI界面中。 需要注意的是，使用Python爬取淘宝商品价格时，应该遵循以下几点： 遵守相关网站的使用规定和政策，尊重网站的隐私和版权。 使用合适的请求头信息，模拟浏览器行为，避免被网站防爬机制识别为爬虫。 处理网页解析的异常情况，例如元素不存在、HTML结构变化等情况。 控制爬取频率，避免对服务器造成过大的负载。
python批量爬取b站小视频
最新发布
04-22
爬虫（Spider），也称为网络爬虫或网络蜘蛛，是一种自动化程序，用于在互联网上浏览和提取信息。爬虫通过模拟人类的浏览行为，访问网页并解析页面内容，从中提取所需的数据。
python爬取微博关键词搜索博文
03-17
python爬取微博关键词搜索博文，只需要修改cookie和url参数
python爬取各类文档方法归类汇总
01-20
下面简要记录一些个人已知的基于python3的抓取方法，以备查阅。 1.抓取TXT文档 在python3下，常用方法是使用urllib.request.urlopen方法直接获取。之后利用正则表达式等方式进行敏感词检索。 ### Reading TXT ...
python爬取b站热门榜
12-25
以下是使用Python爬取B站热门榜的示例代码： ```python import requests url = 'https://api.bilibili.com/pgc/web/season/stat?season_id=39444' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0' } response = requests.get(url, headers=headers) print(response.text) ``` 这段代码使用了`requests`库发送GET请求，获取了B站热门榜的数据。其中，`url`是目标网址，`headers`是请求头信息，`response`是服务器返回的响应对象。通过调用`response.text`可以获取到响应的文本内容，即B站热门榜的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

concyclics

可怜可怜孩子吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值