python爬取b站视频，看完这个一秒噜b站十万八千次不是梦！

最新推荐文章于 2024-03-12 16:22:51 发布

Python栈_基

最新推荐文章于 2024-03-12 16:22:51 发布

阅读量1.1k

点赞数 22

文章标签： python 音视频开发语言

本文链接：https://blog.csdn.net/Java_Joker/article/details/135668799

版权

b站一个视频的爬取思路分析

网站为url = “https://www.bilibili.com/video/BV16e4y1k7Rs/?spm_id_from=333.999.0.0&vd_source=d8494042caaa3e41d56c7e04cc1669dd”

第一步，先对视频网页进行抓包，可以发现这两个请求是视频相关的。

接着我们可以用python将两个url都请求一遍，并且保存文件，都以mp4格式保存。

# 开发时间: 2022/10/21  22:26
# 作  者：星辰之梦梦
import requests

headers = {
    "referer": "https://www.bilibili.com",
    "origin": "https://www.bilibili.com",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36",
}
# 100028
url1 = "https://upos-sz-mirrorcos.bilivideo.com/upgcxcode/73/12/836471273/836471273-1-100028.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1684865947&gen=playurlv2&os=cosbv&oi=0&trid=9df467665ce34bc8b1a9108af0a27cd1u&mid=647250039&platform=pc&upsig=0da697973b0a4359957bc8bfaf3648f1&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,mid,platform&bvc=vod&nettype=0&orderid=0,3&buvid=ADFF7A65-40F1-F25C-C91B-8FFE569D520E16369infoc&build=0&agrr=1&bw=126933&logo=80000000"
# 30280
url2 = "https://upos-sz-mirrorcos.bilivideo.com/upgcxcode/73/12/836471273/836471273_nb3-1-30280.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1684865947&gen=playurlv2&os=cosbv&oi=0&trid=9df467665ce34bc8b1a9108af0a27cd1u&mid=647250039&platform=pc&upsig=4419c16cfb65b59180d74edc64066a69&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,mid,platform&bvc=vod&nettype=0&orderid=0,3&buvid=ADFF7A65-40F1-F25C-C91B-8FFE569D520E16369infoc&build=0&agrr=1&bw=40149&logo=80000000"
resp1 = requests.get(url1, headers=headers).content
resp2 = requests.get(url2, headers=headers).content
with open("111.mp4", mode='wb') as file1:
    file1.write(resp1)
with open("222.mp4", mode='wb') as file2:
    file2.write(resp2)

下载完成后，打开发现111.mp4文件中存储的是无音频的视频，而222.mp4文件中存储的是音频（无视频）。因此我们后面需要将视频文件和音频文件进行合并，会用到ffmpeg软件。

现在我们需要实现请求视频网页的地址（即视频号）得到上述视频url 音频url。因此回到视频网页，在elemens中用url1中的关键参数（1-100028.m4s）搜索。发现在script标签中，并且以js数据格式存放（如下图），接着打开网页源代码再次搜索，也能得到搜索结果。因此我们只需要请求视频网页的地址（即视频号）并解析拿到script中的视频url和音频url。

import requests
import re
import json
from lxml import etree
import os
# import pprint
headers = {
    "referer": "https://www.bilibili.com",
    "origin": "https://www.bilibili.com",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36",
}
# 第一步   请求 视频网页的地址，拿到网页数据
url = "https://www.bilibili.com/video/BV16e4y1k7Rs/?spm_id_from=333.999.0.0&vd_source=d8494042caaa3e41d56c7e04cc1669dd"
resp_ = requests.get(url, headers=headers)
resp = resp_.text
resp_.close()
tree = etree.HTML(resp)
# 第二步   从网页数据中提取视频标题
title = tree.xpath('//h1/text()')[0]
# print(title)
# /html/head/script[3]/text()
# 第三步   从网页数据中提取视频url和音频url
tree1 = tree.xpath('/html/head/script[3]/text()')[0]
tree1 = re.sub(r'window.__playinfo__=', '', tree1)
# print(tree1)
tree1 = json.loads(tree1)
video = tree1['data']['dash']['video'][0]
video_url = video['backupUrl'][0]
# print(video_url)

audio = tree1['data']['dash']['audio'][0]
audio_url = audio['backupUrl'][0]
# print(audio_url)
### 上述video_url 即视频url。audio_url 即音频url
'''
resp1 = requests.get(video_url, headers=headers).content
resp2 = requests.get(audio_url, headers=headers).content
with open("111.mp4", mode='wb') as file1:
    file1.write(resp1)
with open("222.mp4", mode='wb') as file2:
    file2.write(resp2)
'''

到这里，我们已经实现从视频网页地址直接拿到视频文件和音频文件。但是他们是分开的。接着我们就继续讲解如何合并视频和音频。

FFmpeg的安装及配置

FFmpeg是一套功能包括视频采集功能、视频格式转换、视频抓图、给视频加水印等的开源计算机程序。

官网下载：Download FFmpeg

以windows为例

下载完成后解压文件。将bin文件夹的路径添加进环境变量

到这里，FFmpeg配置就完成了。

接下来就是实现合并音频和视频了。

# 省略以上代码

# ①创建保存视频的文件夹
e = "b站视频"
if not os.path.exists(e):
    os.mkdir(e)
# ②保存好视频和音频 注意变量title0为原音频和视频的标题。new_title为合并后的文件标题
with open("b站视频/" + f"{title0}.mp4", mode='wb') as f:
    f.write(resp1)
with open("b站视频/" + f"{title0}.acc", mode='wb') as x:
    x.write(resp2)
# ③利用FFmpeg合并音频和视频文件，并且将原来的两个文件删除
# 注意字符串中的格式。。'<ffmpeg.exe的路径> -i <视频文件路径（不含音频）> -i <音频文件路径> -acodec copy -vcodec copy <合并后的文件路径>'
com = f'D:/FFmpeg/bin/ffmpeg.exe -i "b站视频/{title0}.mp4" -i "b站视频/{title0}.acc" -acodec copy -vcodec copy "b站视频/{new_title}.mp4"'
os.system(com)
os.remove(f"b站视频/{title0}.mp4")
os.remove(f"b站视频/{title0}.acc")

完整代码展示

总结上述的学习过程。我们可以写出一个比较完美的小程序，用来下载单个视频。（有会员记得添加cookie，还有最后的音频和视频的合并用自己FFmpeg软件的路径，和我不一样的需要自己改）

# 开发时间: 2022/4/25  19:55
# 作  者：星辰之梦梦
import requests
import re
import json
from lxml import etree
import os
# import pprint

e = "b站视频"
if not os.path.exists(e):
    os.mkdir(e)
cookie = input("请输入cookie：")
while True:
    ''' 下载最高质量视频 '''

    url = input("请输入url：")

    # url = "https://www.bilibili.com/video/BV1SS4y1N7Vo?spm_id_from=333.999.0.0"
    headers = {
        "cookie": cookie,
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36",
    }
    resp_ = requests.get(url, headers=headers)
    resp = resp_.text
    resp_.close()
    tree = etree.HTML(resp)
    title = tree.xpath('//h1/text()')[0]
    # print(title)
    try:
        tree1 = tree.xpath('/html/head/script[4]/text()')[0]
        tree1 = re.sub(r'window.__playinfo__=', '', tree1)
        tree1 = json.loads(tree1)
    except:
        print("不是script[4]")
        tree1 = tree.xpath('/html/head/script[3]/text()')[0]
        tree1 = re.sub(r'window.__playinfo__=', '', tree1)
        tree1 = json.loads(tree1)

    # pprint(tree1['data']['dash']['video'])
    id_list = [video['id'] for video in tree1['data']['dash']['video']]
    video_url = tree1['data']['dash']['video'][id_list.index(max(id_list))]['backupUrl'][0]
    id_list = [audio['id'] for audio in tree1['data']['dash']['audio']]
    audio_url = tree1['data']['dash']['audio'][id_list.index(max(id_list))]['backupUrl'][0]
    # print(video_url)
    # print(audio_url)
    # print(audio_url)
    print("正在下载", title)
    headers521 = {
            "referer": url,
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36",
        }

    resp1_ = requests.get(video_url, headers=headers521)
    resp1 = resp1_.content
    resp2_ = requests.get(audio_url, headers=headers521)
    resp2 = resp2_.content
    resp1_.close()
    resp2_.close()
    new_title = re.sub(r'[\\/:*?"<>|\n]', '_', title)
    title0 = new_title + "0"
    with open("b站视频/" + f"{title0}.mp4", mode='wb') as f:
        f.write(resp1)
    with open("b站视频/" + f"{title0}.acc", mode='wb') as x:
        x.write(resp2)
    com = f'D:/FFmpeg/bin/ffmpeg.exe -i "b站视频/{title0}.mp4" -i "b站视频/{title0}.acc" -acodec copy -vcodec copy "b站视频/{new_title}.mp4"'
    os.system(com)
    os.remove(f"b站视频/{title0}.mp4")
    os.remove(f"b站视频/{title0}.acc")
    print("over!!!", new_title)

拓展

大家可以自行领悟，去思考如何下载b站的电影和番剧。提示上述程序是不能下载的，需要变动。也许将来还会更新。。

以上就是“python爬取b站视频，看完这个一秒噜b站十万八千次不是梦！”的全部内容，希望对你有所帮助。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

二、Python必备开发工具

三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、Python练习题

检查学习结果。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至CSDN官方，朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。

Python栈_基

关注

22
点赞
踩
26

收藏

觉得还不错? 一键收藏
0
评论
python爬取b站视频，看完这个一秒噜b站十万八千次不是梦！

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。第一步，先对视频网页进行抓包，可以发现这两个请求是视频相关的。
复制链接

扫一扫