Python爬虫：爬取B站视频（最新、能用且讲解详细）【01】

于 2024-05-24 16:30:33 发布
阅读量5k 收藏 55
点赞数 36
分类专栏： B站视频爬取 文章标签： python 爬虫 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/knighthood2001/article/details/139014757
版权

📚博客主页：knighthood2001
✨公众号：认知up吧 （目前正在带领大家一起提升认知，感兴趣可以来围观一下）
🎃知识星球：【认知up吧|成长|副业】介绍
❤️如遇文章付费，可先看看我公众号中是否发布免费文章❤️
🙏笔者水平有限，欢迎各位大佬指点，相互学习进步！

今天，我们来实现一下，B站视频的爬取。（本文仅供学习讨论）

首先要知道，B站视频清晰度和登录是息息相关的。

手动一下

你打开一个视频。
在这里插入图片描述

https://www.bilibili.com/video/BV1jt421c7yN/?vd_source=2ab95dfa6677af399778850be1824b83

学过爬虫的应该会知道，有些参数是可以不需要的。下面这个网址也能成功打开这个视频。

https://www.bilibili.com/video/BV1jt421c7yN/

接着，打开开发者工具（快捷键F12），点击网络（network）
在这里插入图片描述

然后将网页刷新一下。

在这里插入图片描述
上面这个文件看着比较特殊，打开看看。

可以发现，这个发送请求的url就是我们这个视频网址

在这里插入图片描述

同样，下面这个网址也能获得相应内容。

在这里插入图片描述

然后我们看看响应，发现里面有个video和audio，对应视频和音频。

此外，这个视频还有对应的高和宽
在这里插入图片描述
在这里插入图片描述

因此可以得出，我们获取到这几个网址（直接打开会提示403，因此需要假如一些参数进行爬取），就能把内容读取出来，然后保存到本地即可。

此外，也可以得出，b站视频和音频是分开的，你爬取后，需要进行合并处理。

题外话

经过以上分析，可以发现，视频网址中有我们需要的内容，但是我最开始，找了一圈，没找到。

后来发现，这内容藏在网页的head中。

包括网址，视频题目等等信息。

在这里插入图片描述
其中的视频、音频都藏在这里面。

在这里插入图片描述

此外，你可以发现，下面这两个文件，好像就是我上面返回内容中的网址。只是不知道哪个对应的是视频、哪个对应的是音频。
在这里插入图片描述
当然，你可以在返回信息中，工具m4s前面的几个数字进行查找，看其对应的是video视频还是audio音频。

不过，据我观察，m4s前面有6位数字的，就是视频，前面是5位数字的，就是音频。

最笨的爬虫

有了以上的内容，其实你最基本的爬虫，就能写了。

首先就是，查看一下，网址和请求头需要的参数。
在这里插入图片描述
在这里插入图片描述
可以看到，User-Agent、Referer是必须要的。此外，这个Referer的内容就是我们刚开始的网址。

Referer就是防盗链，用来告诉服务器你请求链接是从哪里跳转过来的，没有这个，就无法成功。（即使下载好后，打开文件，会显示无法播放）

在这里插入图片描述

因此，代码就能写了

# TODO 视频网址
url = 'https://www.bilibili.com/video/BV1jt421c7yN/'
headers = {
        # Referer 防盗链 告诉服务器你请求链接是从哪里跳转过来的
        # "Referer": "https://www.bilibili.com/video/BV1454y187Er/",
        "Referer": url,
        # User-Agent 用户代理, 表示浏览器/设备基本身份信息
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
    }
import requests
# TODO 通过F12查看视频的地址
video_url = 'https://xy183x214x144x8xy2409y8c50yda00y126yy8xy.mcdn.bilivideo.cn:4483/upgcxcode/83/23/1523062383/1523062383-1-100113.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1715968562&gen=playurlv2&os=mcdn&oi=1879749745&trid=00008c163333de3442dc929f4f62aff31adau&mid=691902317&platform=pc&upsig=a453aaa2553b8cd8f2fcca789fcd68d2&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,mid,platform&mcdnid=50002512&bvc=vod&nettype=0&orderid=0,3&buvid=2844B77E-F527-FB05-1DF5-9FDF834AE3E888277infoc&build=0&f=u_0_0&agrr=0&bw=25270&logo=A0020000'

video_response = requests.get(video_url, headers=headers)
with open('shiping.mp4', mode='wb') as v:
    v.write(video_response.content)
    
# TODO 通过F12查看音频的地址
audio_url = 'https://xy183x214x144x8xy2409y8c50yda00y126yy8xy.mcdn.bilivideo.cn:4483/upgcxcode/83/23/1523062383/1523062383-1-30280.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1715968562&gen=playurlv2&os=mcdn&oi=1879749745&trid=00008c163333de3442dc929f4f62aff31adau&mid=691902317&platform=pc&upsig=a9e345e9808698097e942b690872ece1&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,mid,platform&mcdnid=50002512&bvc=vod&nettype=0&orderid=0,3&buvid=2844B77E-F527-FB05-1DF5-9FDF834AE3E888277infoc&build=0&f=u_0_0&agrr=0&bw=9931&logo=A0020000'
audio_response = requests.get(audio_url, headers=headers)
with open('yingping.mp3', mode='wb') as v:
    v.write(audio_response.content)

首先，你需要一个B站视频网址，然后你可以通过开发者工具，看到视频和音频的url，通过requests去获取二进制数据，然后保存到本地即可。

弊端：你需要复制视频、音频对应的url。

改进

以上代码，其实只是告诉你，有了视频、音频对应的url，如何去下载，因为直接打开对应的url，是提示403的。因此需要添加一些请求头（这里不需要Cookie）。

一般写爬虫，是只告诉一个视频网址，然后就进行爬取。接下来让我们实现这个。

由于我最开始说过，B站视频清晰度和登录有关，登录就涉及到Cookie，因此你需要复制你的Cookie。

在这里插入图片描述
然后构造一下请求头

headers = {
        # Referer 防盗链 告诉服务器你请求链接是从哪里跳转过来的
        # "Referer": "https://www.bilibili.com/video/BV1454y187Er/",
        "Referer": url,
        # User-Agent 用户代理, 表示浏览器/设备基本身份信息
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
        "Cookie": cookie
}

尽管https://www.bilibili.com/video/BV1jt421c7yN/网站中不需要Referer参数，但是这个参数在后面下载视频和音频的时候是需要的，并且现在加上，使用requests去访问，不会出现问题，因此我就加上这个Referer了，否则可能就得构造两个请求头，一个没有Referer，一个有Referer。

然后你就可以去打印网页源代码，通过正则表达式获取视频标题。

# 发送请求
response = requests.get(url=url, headers=headers)
html = response.text
print(html)
# 解析数据: 提取视频标题
title = re.findall('title="(.*?)"', html)[0]
print(title)

此外，我们需要的视频和音频网址，都在window.__playinfo__=中。我们同样可以通过正则获取到这块内容。

这块内容，刚好还可以转换成字典格式，方便你通过键值对机制，获取到指定的url。

代码如下：

# 提取视频信息
info = re.findall('window.__playinfo__=(.*?)</script>', html)[0]
# info -> json字符串转成json字典
json_data = json.loads(info)
pprint(json_data)
# 提取视频链接
video_url = json_data['data']['dash']['video'][0]['baseUrl']
print(video_url)
# 提取音频链接
audio_url = json_data['data']['dash']['audio'][0]['baseUrl']
print(audio_url)

最后就是和最笨的爬虫一样，爬取视频音频内容，保存下来。

全部代码如下：

# 导入数据请求模块
import requests
# 导入正则表达式模块
import re
# 导入json模块
import json
# TODO 记得更改你要的url和你自己的cookie
url = 'https://www.bilibili.com/video/BV1jt421c7yN/'
cookie = "buvid3=2844B77E-F527-FB05-1DF5-9FDF834AE3E888277infoc; b_nut=1709986388; i-wanna-go-back=-1; b_ut=7; _uuid=6577D687-BED9-9AE2-106A10-551210627F5AC88087infoc; enable_web_push=DISABLE; buvid4=5ED5B3A0-A998-7D47-3815-9AD9A1B27A4989131-024030912-0Fw3r6dKwZLwPoWOl%2F8HuA%3D%3D; CURRENT_FNVAL=4048; rpdid=|(u|Jmkkuukk0J'u~u|ulR~)~; header_theme_version=CLOSE; fingerprint=c27c0b59dd10dcdc4c14701a58f49669; buvid_fp_plain=undefined; buvid_fp=c27c0b59dd10dcdc4c14701a58f49669; LIVE_BUVID=AUTO6217111182462626; FEED_LIVE_VERSION=V_WATCHLATER_PIP_WINDOW3; bp_video_offset_691902317=925084214145056785; DedeUserID=691902317; DedeUserID__ckMd5=ead312019baad7ed; CURRENT_QUALITY=80; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MTYwNDM3MDgsImlhdCI6MTcxNTc4NDQ0OCwicGx0IjotMX0.Rdjc9F5oiEXSn_GylRWm3s2L-Pn8GYfyQS5IZt_Y3-8; bili_ticket_expires=1716043648; SESSDATA=3d6f944f%2C1731336513%2C491d2%2A51CjD5jp6zedAz4nQallTN_akUjFzg2LzJhdKMiJbI1nnw2bs5sp8Y09F7Jj4PofjUyfsSVlktMkF0aDRLN196dVNTeWh0czllbFZTWDlidWRpcnFnaENSNVVNbGNFMGR5bFBqYkcwalhuVklyUGJLVHJtYXo3TVpaTENqQ21rS0RPbldWTDUzRFp3IIEC; bili_jct=2975523315e5bccfa606ac286df61f36; home_feed_column=4; browser_resolution=1396-639; sid=6gr3y4l0; PVID=4; bp_t_offset_691902317=932475264446758937; b_lsid=5E9C415B_18F86EC150D"
headers = {
        # Referer 防盗链 告诉服务器你请求链接是从哪里跳转过来的
        # "Referer": "https://www.bilibili.com/video/BV1454y187Er/",
        "Referer": url,
        # User-Agent 用户代理, 表示浏览器/设备基本身份信息
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
        "Cookie": cookie
}
# 发送请求
response = requests.get(url=url, headers=headers)
html = response.text
print(html)
# 解析数据: 提取视频标题
title = re.findall('title="(.*?)"', html)[0]
print(title)
# 提取视频信息
info = re.findall('window.__playinfo__=(.*?)</script>', html)[0]
# info -> json字符串转成json字典
json_data = json.loads(info)
# 提取视频链接
video_url = json_data['data']['dash']['video'][0]['baseUrl']
print(video_url)
# 提取音频链接
audio_url = json_data['data']['dash']['audio'][0]['baseUrl']
print(audio_url)
video_content = requests.get(url=video_url, headers=headers).content
# 获取音频内容
audio_content = requests.get(url=audio_url, headers=headers).content
# 保存数据
with open('video\\' + title + '.mp4', mode='wb') as v:
    v.write(video_content)
with open('video\\' + title + '.mp3', mode='wb') as a:
    a.write(audio_content)

小结

希望我的讲解，大家能够看懂。

  • b站视频的爬取，我觉得最重要的就是去找到对应的网址，然后需要添加一些请求头，才能下载到本地且正常播放。
  • 本文没有将视频和音频合并起来。
knighthood2001
关注
  • 36
    点赞
  • 踩
  • 55
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
python爬虫教程：实例讲解Python爬取网页数据
01-20
这篇文章给大家通过实例讲解了Python爬取网页数据的步骤以及操作过程，有兴趣的朋友跟着学习下吧。 一、利用webbrowser.open()打开一个网站： >>> import webbrowser >>> webbrowser.open('http://i.firefoxchina.cn/?from=worldindex') True 实例：使用脚本打开一个网页。 所有Python程序的第一行都应以#!python开头，它告诉计算机想让Python来执行这个程序。（我没带这行试了试，也可以，可能这是一种规范吧） 1.从sys.argv读取命令行参数：打开一个新的文件编辑器窗口，输入下面的
python爬虫爬取B站视频【requests+ffmpeg】
07-30
B站是把视频和音频分开。要把2个合并起来使用。 此代码运行环境为：python3.8 需要模块：requests 额外需要环境ffmpeg 安装好所需环境即可运行
Python爬虫：爬取Bilibili视频(.m4s)
热门推荐
Caiden_Michael
01-26 1万+
本文仅作为学习笔记参考使用： 哔哩哔哩视频抓取 b站视频的抓取还是比较困难的，相对于其他的网站的视频获取相对难一些，也是因为我的好奇不怕死心理，打算拿b站视频好好分析分析，具体抓取流程如下： 初始分析页面如下： 这个页面有点养眼，就从这个开始。本页面的请求以及响应信息较为容易抓取分析，主要就是获取分页标记以及视频跳转到指定播放界面的url地址（如下图所示） 我用的办法是把响应中的页面框架信息下载...
【爬虫】案例-爬取B站视频
qq_39172059的博客
03-08 1656
在该script标签中去除首部的window.__playinfo__=后，大括号内是一个json格式的数据，里面有需要的视频资源地址信息，对该json进行格式化显示后。网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，通俗的讲是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。B站的视频资源在script标签中的data中的dash内，视频资源的音频和视频是分开的两个url地址。使用浏览器开发者模式，打开该网页的源代码，找到视频资源请求的url，如图所示。
Python爬虫--爬取哔哩哔哩（B站）短视频平台视频
y2878672183的博客
01-18 6613
Python爬虫--爬取哔哩哔哩（B站）短视频平台视频
爬虫项目实战——爬取B站视频
qq_45895217的博客
10-05 6135
目标：对B站视频详情页url进行视频的爬取。注：由于B站的音频和视频的链接是分开的，所以在提取是需要分别提取，然后进行合成。这里只管提取，合成的工作以后再说。
【用python爬取B站视频（含源码）-----最适合小白的教程】
Xu_youyaxianshen的博客
05-18 3578
在 B 站看视频已经成为我们日常生活中不可或缺的一部分。很多时候我们在观看视频时，想要获取视频的相关信息，比如视频的标题、发布者、播放量等等。但是由于 B 站页面上的信息有限，很多时候需要通过爬虫来获取更全面的信息。本篇文章就将介绍如何使用 Python 爬取 B 站视频的相关信息。
超详细爬取bilibili视频数据
qq_45821420的博客
11-23 8596
1、爬虫心得 1、我们在写爬虫程序的时候可以采用面向对象的方式进行代码构造，使得代码结构更加清晰 2、放我们发现某个网站的PC端网页比较难爬的时候，我们可以查看其手机端是否好爬 3、本爬虫程序解析的文件为json数据文件 2、爬虫页面展示 原始json数据 通过json解析工具解析获得的数据 每一个直播的详情数据 3、代码实操 import requests import json class BilibiliSpider(): def __init__(self):
想下载B站视频却不知如何下手？一文教你爬B站！
自成背后的博客
11-13 1万+
文章目录初级版本改进版本升级版本最终加强版本 初级版本 首先，我们先试着实现爬取一个视频保存到本地，随便在哔哩哔哩网站找一个视频，如我找的一个链接：https://www.bilibili.com/video/BV1Sz4y1Z7g9?from=search&seid=7693898795687978846 右键检查，点击network抓包，点击播放： 我们会看到很多的数据包，经过尝试分析我们点开带30280，会看到response响应部分就是很多我们看不懂的编码二进制数据，实际上30280数据包
20231202_python练习_b站视频爬取(selenium浏览器模拟登录版)
szc_1985的博客
12-02 343
首先手工登录一次获取cookies，然后进行数据保存。然后使用现有cookies登录用户，进行网页访问，获取清晰视频。
Python爬虫将爬取的图片写入world文档的方法
09-19
本篇文章将详细讲解如何使用Python爬虫将抓取的图片写入Word文档。 首先，我们需要了解Python中的requests库，它用于发送HTTP请求，获取网页内容。在爬取图片时，我们通常先用requests.get(url)发送GET请求，获取...
超详细解析python爬虫爬取京东图片
01-21
超详细图片爬虫实战实例讲解(京东商城手机图片爬取)1.创建一个文件夹来存放你爬取的图片2.第一部分代码分析3.第二部分代码分析完整的代码如下所示:升级版代码： 爬取过程中首先你需要观察在手机页面变化的过程来使用...
python爬取自如租房网站租房数据最详细的讲解
03-30
使用python对自如租房网站进行爬取信息，讲解非常详细，最全讲解。拥有最详细的讲解、最好的解释、最清晰的思路，这就是我们最纯粹的技术，也是我们的优势，相信这个程序可以为你打开爬虫道路上的一扇窗，也可以为你...
Python爬虫爬取新闻资讯案例详解
09-16
Python爬虫爬取新闻资讯案例详解是一篇详细指导如何使用Python进行新闻数据抓取的文章。在互联网时代，新闻资讯的数据量庞大，通过爬虫技术可以有效地自动化获取和分析这些信息。本文将深入探讨如何利用Python的...
程序员必须知道的数据结构：线性表与链表(1)，2024Python进阶学习资料
m0_60666452的博客
03-31 341
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习。// add() 方法没有指定添加的数据对象的位置。// LinkedList 实现 add() 方法。// 实现也比较简单，直接将数据对象赋值到数组中。
Python：B站“每周必看”栏目数据爬取和可视化
最新发布
TyreBurst的博客
04-22 1204
简介：对bilibili网站的“每日必看”栏目进行数据爬取，数据分析并实现数据可视化环境：python 3.9，requests，beautifulsoup4，pandas，pyecharts，jupyter notebook 等。
python爬取b站视频，看完这个一秒噜b站十万八千次不是梦！
Python栈_基的博客
01-18 1862
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。第一步，先对视频网页进行抓包，可以发现这两个请求是视频相关的。
bilibili视频合集下载，python实现
qq_45179361的博客
08-27 6539
python下载bilibili视频，下载合集，下载选集。
利用python爬取豆瓣音乐_Python爬虫：现学现用xpath爬取豆瓣音乐
06-07
好的，我可以给你讲解一下如何使用 Python 爬取豆瓣音乐信息。 首先需要安装相关的库，比如 requests、lxml 和 xpath。可以通过 pip install requests lxml 命令来安装。 接下来，通过 requests 库向豆瓣音乐的网页发送请求，并使用 lxml 库来解析网页内容。代码如下： ```python import requests from lxml import etree url = 'https://music.douban.com/top250' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) html = response.text ``` 接下来，我们可以使用 lxml 库中的 etree 对象来解析 HTML 内容。这里我们使用 xpath 来获取我们需要的信息，比如歌曲名、演唱者和评分等。代码如下： ```python tree = etree.HTML(html) songs = tree.xpath('//tr[@class="item"]/td[2]/div/a/text()') # 歌曲名 singers = tree.xpath('//tr[@class="item"]/td[2]/div[@class="pl"]/text()') # 演唱者 ratings = tree.xpath('//tr[@class="item"]/td[2]/div[@class="star clearfix"]/span[@class="rating_num"]/text()') # 评分 ``` 最后，我们可以将获取到的信息输出或保存到文件中。完整代码如下： ```python import requests from lxml import etree url = 'https://music.douban.com/top250' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) html = response.text tree = etree.HTML(html) songs = tree.xpath('//tr[@class="item"]/td[2]/div/a/text()') # 歌曲名 singers = tree.xpath('//tr[@class="item"]/td[2]/div[@class="pl"]/text()') # 演唱者 ratings = tree.xpath('//tr[@class="item"]/td[2]/div[@class="star clearfix"]/span[@class="rating_num"]/text()') # 评分 for i in range(len(songs)): print(f'{i+1}. {songs[i]} - {singers[i].strip()} - {ratings[i]}') ``` 这样就可以在控制台输出豆瓣音乐 top250 的信息了。如果想要将信息保存到文件中，可以使用 Python 的文件操作来实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

knighthood2001

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值