python爬取B站关注列表

已于 2022-01-20 00:20:14 修改
阅读量3.3w 收藏 40
点赞数 16
分类专栏： 爬虫 文章标签： python 爬虫 数据库 sqlite3 sql
于 2022-01-13 17:41:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21008741/article/details/122473052
版权

python爬取B站关注列表

一、数据库的设计与操作

1、数据的分析

在这里插入图片描述
B站的关注列表在

https://api.bilibili.com/x/relation/followings?vmid=UID&pn=1&ps=50&order=desc&order_type=attention

中，一页最多50条信息。

我们大致分析一下信息，

{
	"code": 0,
	"message": "0",
	"ttl": 1,
	"data": {
		"list": [{……

首先，列表内容存在data:list里。

其次，对于列表中每一项，有如下信息


			"mid": 672353429,
			"attribute": 2,
			"mtime": 1630510107,
			"tag": null,
			"special": 0,
			"contract_info": {
				"is_contractor": false,
				"ts": 0,
				"is_contract": false,
				"user_attr": 0
			},
			"uname": "贝拉kira",
			"face": "http://i2.hdslb.com/bfs/face/668af440f8a8065743d3fa79cfa8f017905d0065.jpg",
			"sign": "元气满满的A-SOUL舞担参上~目标TOP IDOL，一起加油！",
			"official_verify": {
				"type": 0,
				"desc": "虚拟偶像团体A-SOUL 所属艺人"
			},
			"vip": {
				"vipType": 2,
				"vipDueDate": 1674576000000,
				"dueRemark": "",
				"accessStatus": 0,
				"vipStatus": 1,
				"vipStatusWarn": "",
				"themeType": 0,
				"label": {
					"path": "",
					"text": "年度大会员",
					"label_theme": "annual_vip",
					"text_color": "#FFFFFF",
					"bg_style": 1,
					"bg_color": "#FB7299",
					"border_color": ""
				},
				"avatar_subscript": 1,
				"nickname_color": "#FB7299",
				"avatar_subscript_url": "http://i0.hdslb.com/bfs/vip/icon_Certification_big_member_22_3x.png"
			}

其中，mid为用户独一无二的UID，vipType，0是什么都没开，1是大会员，2是年度大会员，official_verify中，type 0代表官方认证，-1代表没有官方认证。

同时我们发现，如果对方锁了列表，会返回

{"code":-400,"message":"请求错误","ttl":1}

2、数据库设计

基于这些，我们先设计数据库，包含两张表，用户信息的基本属性表和关注的关系表。

def createDB():

    link=sqlite3.connect('BiliFollowDB.db')
    
    print("database open success")
    
    UserTableDDL='''
                create table if not exists user(
                UID int PRIMARY KEY     NOT NULL,
                NAME varchar            NOT NULL,
                SIGN varchar            DEFAULT NULL,
                vipType int             NOT NULL,
                verifyType int          NOT NULL,
                verifyDesc varchar      DEFAULT NULL)
                '''
    
    RelationTableDDL='''
                create table if not exists relation(
                follower int           NOT NULL,
                following int          NOT NULL,
                followTime int         NOT NULL,
                PRIMARY KEY (follower,following),
                FOREIGN KEY(follower,following) REFERENCES user(UID,UID)
                )
                '''
    
    # create user table
    link.execute(UserTableDDL)
    
    # create relation table
    link.execute(RelationTableDDL)
    
    print("database create success")
    
    link.commit()
    link.close()

3、数据库操作

其次是插入新用户的列表，我的思路是爬完一个人的关注列表，把一整个list丢给该函数，判断是否存在新增用户，存在则把新增用户传回，作为下一次爬虫的起点。

def insertUser(infos):
    
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    InsertCmd="insert into user (UID,NAME,vipType,verifyType,sign,verifyDesc) values (?,?,?,?,?,?);"
    
    ExistCmd="select count(UID) from user where UID='%d';"# % UID
    
    newID=[]
    
    for info in infos:
        answer=link.execute(ExistCmd%info['uid'])
        for row in answer:
            exist_ID=row[0]
        
        if exist_ID==0:
            newID.append(info['uid'])
            link.execute(InsertCmd,(info['uid'],info['name'],info['vipType'],info['verifyType'],info['sign'],info['verifyDesc']))
            
    conn.commit()
    conn.close()
    
    return newID

然后是插入关系的函数，这个比较简单

def insertFollowing(uid:int,subscribe):
    
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    InsertCmd="insert into relation (follower,following,followTime) values (?,?,?);"
    
    for follow in subscribe:
        link.execute(InsertCmd,(uid,follow[0],follow[1]))
        
    conn.commit()
    conn.close()

二、爬虫

通过观察，我们发现睿叔叔锁了5页的关注列表
在这里插入图片描述
即使是人工操作也只能访问5页，那没办法啦，我们就爬5页吧。

def getFollowingList(uid:int):
    
    url="https://api.bilibili.com/x/relation/followings?vmid=%d&pn=%d&ps=50&order=desc&order_type=attention&jsonp=jsonp"# % (UID, Page Number)
    
    infos=[]
    
    subscribe=[]
    
    for i in range(1,6):
        html=requests.get(url%(uid,i))
        if html.status_code!=200:
            print("GET ERROR!")
            
        text=html.text
        dic=json.loads(text)
        
        if dic['code']==-400:
            break
    
        list=dic['data']['list']
        
        for usr in list:
            info={}
            info['uid']=usr['mid']
            info['name']=usr['uname']
            info['vipType']=usr['vip']['vipType']
            info['verifyType']=usr['official_verify']['type']
            info['sign']=usr['sign']
            if info['verifyType']==-1:
                info['verifyDesc']='NULL'
            else :
                info['verifyDesc']=usr['official_verify']['desc']
            
            subscribe.append((usr['mid'],usr['mtime']))
            infos.append(info)
        
    newID=insertUser(infos)
    insertFollowing(uid,subscribe)
    
    return newID

三、完整代码

#by concyclics
# -*- coding:UTF-8 -*-

import sqlite3
import json
import requests

def createDB():

    link=sqlite3.connect('BiliFollowDB.db')
    
    print("database open success")
    
    UserTableDDL='''
                create table if not exists user(
                UID int PRIMARY KEY     NOT NULL,
                NAME varchar            NOT NULL,
                SIGN varchar            DEFAULT NULL,
                vipType int             NOT NULL,
                verifyType int          NOT NULL,
                verifyDesc varchar      DEFAULT NULL)
                '''
    
    RelationTableDDL='''
                create table if not exists relation(
                follower int           NOT NULL,
                following int          NOT NULL,
                followTime int         NOT NULL,
                PRIMARY KEY (follower,following),
                FOREIGN KEY(follower,following) REFERENCES user(UID,UID)
                )
                '''
    
    # create user table
    link.execute(UserTableDDL)
    
    # create relation table
    link.execute(RelationTableDDL)
    
    print("database create success")
    
    link.commit()
    link.close()
    

def insertUser(infos):
    
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    InsertCmd="insert into user (UID,NAME,vipType,verifyType,sign,verifyDesc) values (?,?,?,?,?,?);"
    
    ExistCmd="select count(UID) from user where UID='%d';"# % UID
    
    newID=[]
    
    for info in infos:
        answer=link.execute(ExistCmd%info['uid'])
        for row in answer:
            exist_ID=row[0]
        
        if exist_ID==0:
            newID.append(info['uid'])
            link.execute(InsertCmd,(info['uid'],info['name'],info['vipType'],info['verifyType'],info['sign'],info['verifyDesc']))
            
    conn.commit()
    conn.close()
    
    return newID



def insertFollowing(uid:int,subscribe):
    
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    InsertCmd="insert into relation (follower,following,followTime) values (?,?,?);"
    
    for follow in subscribe:
        try:
            link.execute(InsertCmd,(uid,follow[0],follow[1]))
        except:
            print((uid,follow[0],follow[1]))
        
    conn.commit()
    conn.close()
    
    
    
def getFollowingList(uid:int):
    
    url="https://api.bilibili.com/x/relation/followings?vmid=%d&pn=%d&ps=50&order=desc&order_type=attention&jsonp=jsonp"# % (UID, Page Number)
    
    infos=[]
    
    subscribe=[]
    
    for i in range(1,6):
        html=requests.get(url%(uid,i))
        if html.status_code!=200:
            print("GET ERROR!")
            return []
            
        text=html.text
        dic=json.loads(text)
        
        if dic['code']==-400:
            return []
    
        try:
            list=dic['data']['list']
        except:
            return []
        
        for usr in list:
            info={}
            info['uid']=usr['mid']
            info['name']=usr['uname']
            info['vipType']=usr['vip']['vipType']
            info['verifyType']=usr['official_verify']['type']
            info['sign']=usr['sign']
            if info['verifyType']==-1:
                info['verifyDesc']='NULL'
            else :
                info['verifyDesc']=usr['official_verify']['desc']
            
            subscribe.append((usr['mid'],usr['mtime']))
            infos.append(info)
        
    newID=insertUser(infos)
    insertFollowing(uid,subscribe)
    
    return newID

def getFollowingUid(uid:int):
    url="https://api.bilibili.com/x/relation/followings?vmid=%d&pn=%d&ps=50&order=desc&order_type=attention&jsonp=jsonp"# % (UID, Page Number)
    
    for i in range(1,6):
        html=requests.get(url%(uid,i))
        if html.status_code!=200:
            print("GET ERROR!")
            return []
        
        text=html.text
        dic=json.loads(text)
        
        if dic['code']==-400:
            return []
        
        try:
            list=dic['data']['list']
        except:
            return []
        
        IDs=[]
        
        for usr in list:
            IDs.append(usr['mid'])

        return IDs

def work(root):
    
    IDlist=root
    tmplist=[]
    while len(IDlist)!=0:
        tmplist=[]
        for ID in IDlist:
            print(ID)
            tmplist+=getFollowingList(ID)
            
        IDlist=tmplist
        
def rework():
    conn=sqlite3.connect('BiliFollowDB.db')
    link=conn.cursor()
    
    SelectCmd="select uid from user;"
    
    answer=link.execute(SelectCmd)
    
    IDs=[]
    
    for row in answer:
        IDs.append(row[0])
        
    conn.commit()
    conn.close()
    
    newID=[]
    
    print(IDs)
        
    for ID in IDs:
        ids=getFollowingUid(ID)
        for id in ids:
            if id not in IDs:
                newID.append(id)
    
    return newID

    

if __name__=="__main__":

    createDB()
    
    #work([**put root UID here**,])

四、项目仓库

如果您觉得有所收获的话，麻烦帮我点个小小的star

用Python爬取B站我关注的人关注的人关注的人
个人博客
10-26 5381
爬取B站我关注的人关注的人关注的人 本项目最后更新于2018-6-4，可能会因为没有更新而失效。如已失效或需要修正，请联系我！ 本项目已授权微信公众号“菜鸟学Python”发表文章 爬取B站10万数据，看看都有哪些热门的UP主 在写这个项目时，我还不会Python的协程编程，用协程可提升爬虫速度至少5倍，参考我的文章线程，协程对比和Python爬虫实战说明 声明 代码、教程均为张思淡本人原创，且...
用python获取B站关注的up主列表
计算机小白
06-23 1361
获取up主列表
2021年看得见的粉丝价值-五大平台kol粉丝分析研究报告：微博、抖音、快手、小红书、B站.pdf
09-04
五大平台最具吸粉力的垂类有较大区隔： • 明星自带社交影响力，在微博、小红书均为吸粉力NO.1； • 抖音、快手的用户对于幽默搞笑、游戏等垂类情有独钟； • B站的游戏、生活垂类仍为绝对头部 2020年各平台内容均有“新突破”： • 微博媒体生态优势凸显，社会新闻账号发展迅猛，实体相关内容激增； • 抖音成影视营销新阵地； • B站音乐活动成功出圈推动内容发展； • 快手头部稳定，但音乐、美女帅哥排名略有下降 • 微博和小红书粉丝量百万级的账号赞评比更低，粉丝趋向深 度互动； • 抖音、快手、B站均呈现出赞评比与粉丝量级的正相关关系， 粉丝更习惯通过点赞来表达对内容及KOL的喜爱 粉丝价值需要从互动积极性、粉丝画像、主动传播意愿、粉丝私域化程 度、购买意愿及购买力等多个角度评估，他与内容价值、商业价值、IP 价值共同构成了KOL社交资产价值的评估体系
保姆级教你使用Python爬虫一键爬取B站想看的番
最新发布
m0_64431328的博客
01-25 1873
由于B站要会员才能看的番，B站对其实施了反爬技术，对要会员才能看的番的视频和音频进行加密，根本找不其视频和音频的url。所以，暂时没办法爬取要会员才能看的番，但是可以爬取那些需要不需要会员的番。以下手把手教你一键爬取B站你需要的番：目录一、ffmpeg的安装配置链接：保姆级教你安装ffmpeg和配置环境-CSDN博客二、修改参数headers和查ep（1）在网页里打开B站并选择你喜欢看的番，按F2或者ctrl+shift+i就会打开调试工具，找到网络或WIFI这个图标。
爬取b站最火up主及其粉丝信息
JiaVaHao的博客
04-16 1万+
爬取b站最火up主及其粉丝信息 编译环境：python3、Firefox Developer Edition 使用技术：bs4、json、selenium、pymysql 输出预览： 代码：链接: https://pan.baidu.com/s/1SSqMrMr_IVni-Tb6Yx40vQ 提取码: hnu6 使用前请修改数据库密码 实现思路： 查看up主榜单 htt...
python爬取B站千万级数据，发现了这些热门UP主的秘密！
qq_42238397的博客
06-07 5503
Python（发音：英[?pa?θ?n]，美[?pa?θɑ:n]），是一种面向对象、直译式电脑编程语言，也是一种功能强大的通用型语言，已经具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法非常简捷和清晰，与其它大多数程序设计语言不一样，它使用缩进来定义语句。Python支持命令式程序设计、面向对象程序设计、函数式编程、面向切面编程、泛型编...
B站up信息爬取
qq_43808522的博客
07-12 1805
上篇博客介绍了怎样在没有up主榜单排行的
爬虫小试牛刀（知乎用户关注列表爬取 python+requests+json）
linxibo's CSDN
11-01 1830
知乎用户关注列表爬取环境安装目标分析完整代码： 基于环境：python3.6 + requests + json 模块 调试浏览器：chrome浏览器 环境安装 python可自行到官网下载 requests模块和json模块安装，直接pip pip install requests pip install json 目标分析 目标用户 廖雪峰:https://www.zh...
b站up粉丝数量及变化爬取，并保存成txt文件
songkaihualove的博客
02-07 1591
爬取b站up粉丝数量和变化 ，并保存成txt文件 importrequests importjson fromdatetimeimportdatetime importtime importos,sys deftimer(n): whileTrue: f=open('/root/foo.txt',mode='a') print(datetime.now().strftime("%Y-%m-%d%H:...
python爬取b站弹幕分析_B站直播弹幕获取 - 用python写一个B站弹幕姬吧
weixin_39652869的博客
11-24 1369
前言关于这个小项目的由来。最开始是想要利用b站的弹幕进行一些互动之类的。原本也有想过可以利用现有的弹幕姬做个插件来解决的，但无奈不会C#，所以只能自己研究b站的弹幕协议。后来有写过一个C++版本的，不过有一些小问题，这在后文中会提到。开码一丶利用 POST 方式获取 B 站直播弹幕参考：【python】b站直播弹幕获取首先，随便打开一个b站的直播页面，按F12打开控制台，点进“网络（Network...
python为啥爬取数据会有重复_使用python爬取B站千万级数据
weixin_39643336的博客
12-05 1030
Python(发音：英[?pa?θ?n]，美[?pa?θɑ:n])，是一种面向对象、直译式电脑编程语言，也是一种功能强大的通用型语言，已经具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法非常简捷和清晰，与其它大多数程序设计语言不一样，它使用缩进来定义语句。Python支持命令式程序设计、面向对象程序设计、函数式编程、面向切面编程、泛型编...
python爬取抖音用户数据_使用python爬取抖音视频列表信息
weixin_39596835的博客
11-23 3545
如果看到特别感兴趣的抖音vlogger的视频，想全部dump下来，如何操作呢？下面介绍介绍如何使用python导出特定用户所有视频信息抓包分析Chrome Deveploer Tools Chrome 浏览器开发者工具在抖音APP端，复制vlogger主页地址， 比如： http://v.douyin.com/kGcU4y/ ， 在PC端用chrome浏览器打卡，并模拟手机，这里选择iPhone，...
快速导出B站收藏单节目列表
热门推荐
weixin_30426879的博客
08-23 1万+
打开一个收藏列表 例如https://space.bilibili.com/192167261/favlist?fid=62499761 然后在控制台执行（F12 - console - 粘贴 - 回车）下面的代码 剩下慢慢等 5秒钟处理一页 实现代码 function get_list () { var result = ""; $(".fav-...
用python查询B站up主的关注时间、关注了多久
Dan_Kuroto的博客
09-04 2943
from datetime import datetime import webbrowser uid = input('uid:') # 这里输入up主的uid webbrowser.open('https://api.bilibili.com/x/space/acc/relation?mid=' + uid) # 上面那个接口需要登录，写爬虫很麻烦所以偷懒用浏览器访问了， # 找到mtime项粘贴进来就行 mtime = int(input('mtime:')) follow = datetim
爬虫终于找到了知乎/B站 Top100大V，关注！
苏克的博客
08-20 6009
经常逛知乎、B站，作为吃瓜群众也很好奇这两个网站「头部用户」是哪些人。为了满足各位好奇心，先上名单后上爬虫思路和代码。居然是他们。体验网页：htt...
探索B站关注者管理利器：`bilibili-follow`
gitblog_00044的博客
04-24 1357
探索B站关注者管理利器：bilibili-follow 去发现同类优质开源项目:https://gitcode.com/ 上发布。 项目简介 bilibili-follow 是一款命令行工具，利用 B 站的 API 来获取并分析用户的关注者数据。通过简单的终端操作，你可以查看你的关注者信息，如用户名、等级、最近动态等，甚至可以导出这些数据进行深度分析或备份。 技术分析 项目基于 Python 编写...
获取B站某用户更多的关注数和粉丝数
Enderman_xiaohei的博客
08-28 3797
获取B站某用户更多的关注数和粉丝数 相关记录 一、 前言 B 站最多只能翻 5 页用户的关注数和粉丝数，如何能够看到更多呢。 方法我也是从网上翻来的，记载博客里，算是我研究过这个话题了。 二、需要的东西 关注数的 api https://api.bilibili.com/x/relation/followings?vmid=2884629&pn=1&ps=20&order=desc&jsonp=jsonp 关注者（粉丝）的 api https://api.bilibili.
python爬虫爬取b站视频数据
12-28
### 如何使用 Python 编写爬虫抓取 B 站视频数据 #### 准备工作 为了实现这一目标，需要安装一些必要的库。这些库可以帮助处理 HTTP 请求、解析 JSON 数据以及管理异步操作。 ```bash pip install requests aiohttp bilibili-api-python ``` #### 抓取视频基本信息 通过调用 `bilibili-api` 库中的接口方法可以直接获取到指定 AV/BV 号的视频详情： ```python from bilibili_api import video as bvid_video, sync def fetch_basic_info(bv_id): v = bvid_video.Video(bvid=bv_id) info_dict = sync(v.get_info()) title = info_dict['title'] pub_date = info_dict['pubdate'] # 时间戳形式返回发布时间 return { "标题": title, "发布时间": pub_date } ``` 此部分代码利用了第三方封装好的 API 接口来简化请求过程[^1]。 #### 获取弹幕列表 针对每一条视频记录其对应的 XML 格式的弹幕文件链接，并下载保存至本地；接着读取该文件提取其中的有效字段完成进一步的数据挖掘任务。 ```python import xml.etree.ElementTree as ET from datetime import datetime async def download_danmaku(video_bvid, output_file='danmakus.xml'): vid = bvid_video.Video(bvid=video_bvid) danmu_url = await vid.get_dm_xml() async with aiohttp.ClientSession() as session: resp = await session.get(danmu_url[0]) content = await resp.text() with open(output_file, 'w', encoding='utf8') as f: f.write(content) # 解析XML格式的弹幕文档 def parse_danmaku(file_path): tree = ET.parse(file_path) root = tree.getroot() items = [] for item in root.findall('d'): text = item.text.strip() timestamp_str = float(item.attrib['p'].split(',')[0]) # 提取消息显示的时间轴位置 formatted_time = str(datetime.fromtimestamp(timestamp_str)) items.append({ "content": text, "time": formatted_time }) return items ``` 上述函数实现了从远程服务器拉取特定编号影片关联的所有即时聊天消息并将其转换成易于理解的形式存储下来供后续分析使用[^2]。 #### 清洗与统计分析 对于收集来的原始弹幕资料而言，在正式投入应用之前往往还需要经历一系列预处理环节，比如去除无关字符、过滤敏感词汇等。之后再基于清理后的高质量语料开展诸如词频计算之类的量化研究活动。 ```python import jieba.analyse import matplotlib.pyplot as plt from wordcloud import WordCloud from collections import Counter # 对中文字符串做分词处理 def tokenize(texts_list): words = [] for line in texts_list: seg_result = list(jieba.cut(line)) filtered_words = filter(lambda w: len(w)>1 and not w.isdigit(), seg_result) # 过滤掉单个字母/数字 words.extend(filtered_words) return words # 绘制词云图像 def plot_word_cloud(word_freq_dist): wc = WordCloud(font_path='/path/to/simhei.ttf', background_color="white").generate_from_frequencies(dict(word_freq_dist.most_common())) plt.imshow(wc, interpolation='bilinear') plt.axis("off") plt.show() if __name__ == '__main__': bv_num = input("请输入要查询的BV号:") basic_data = fetch_basic_info(bv_num) print(f'视频名称:{basic_data["标题"]}\n发布日期:{datetime.utcfromtimestamp(int(basic_data["发布时间"]))}') asyncio.run(download_danmaku(bv_num)) parsed_comments = parse_danmaku('./danmakus.xml') all_texts = ''.join([item['content'] for item in parsed_comments]) tokens = tokenize(all_texts.split()) freq_distribution = Counter(tokens) top_keywords = dict(freq_distribution.most_common(50)) # 输出最常见的前五十个关键字及其出现次数 plot_word_cloud(top_keywords) ``` 这段脚本综合运用多种技术手段完成了对所关注对象全面而深入的理解——不仅限于表面层次的信息检索，更涉及到深层次的内容解读和模式识别层面的工作[^3]。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

concyclics

可怜可怜孩子吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值