python爬取b站搜索结果播放地址_如何利用Python快速爬取B站全站视频信息

B 站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。

准备工作

首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。

勾选 JS 选项，F5 刷新

找到了 api 的地址

动手写码

好了，到这里代码就可以码起来了，通过 request 不断的迭代获取数据，为了让爬虫更高效，可以利用多线程。

核心代码result = []

req = requests.get(url, headers=headers, timeout=6).json()

time.sleep(0.6) # 延迟，避免太快 ip 被封

try:

data = req['data']

video = Video(

data['aid'], # 视频编号

data['view'], # 播放量

data['danmaku'], # 弹幕数

data['reply'], # 评论数

data['favorite'], # 收藏数

data['coin'], # 硬币数

data['share'] # 分享数

)

with lock:

res