B站高清视频下载-视频相关数据采集教程，使用Python实现

已于 2024-02-26 00:13:11 修改
阅读量630 收藏 10
点赞数 3
文章标签： 音视频 python 爬虫
于 2024-02-26 00:10:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011459806/article/details/136289461
版权

采集的数据

  • 采集高清视频
  • 视频标题
  • 播放量，点赞数，收藏数
  • 视频标签

实现步骤

  • 获取cookie
  • 请求视频Url, 获取视频html源码
  • 解析html， 获取标题，播放量，点赞数，收藏数，视频标签等信息
  • 解析html， 获取最高清视频及音频url
  • 保存视频文件，音频文件
  • 合并视频和音频文件

采集入口

使用视频播放页面作为采集入口，使用视频播放页面的url作为参数进行采集。
在这里插入图片描述

获取Cookie

采集前先打开浏览器获取登录后的cookie，不然请求获得的数据不全，不登录情况下的请求返回没有包含高清的视频地址，只有较低清晰度的地址。
复制出请求头中的Cookie的值，粘贴到代码中。
在这里插入图片描述

headers = {
    "referer":"https://www.bilibili.com",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
    "Cookie": ""
}
response = requests.get(url=url, headers=headers)
print("返回200，则网页请求成功：", response)

请求视频Url, 获取视频html地址

b站视频的下载地址可以直接在视频页面HTML中获取到，通过下面的正则可以获取到完整的json对象，并在其中存放着不同清晰度的地址。

html_data =  re.findall('<script>window.__playinfo__=(.*?)</script>', response.text)[0]
json_data=json.loads(html_data)
json_dicts = json.dumps(json_data,indent=4)

max_bandwidth_video = ''
max_bandwidth = 0

num = len(json_data["data"]["dash"]["video"])
for i in range(num):
    bandwidth = json_data["data"]["dash"]["video"][i]["bandwidth"]
    if bandwidth > max_bandwidth:
        max_bandwidth = bandwidth
        max_bandwidth_video = json_data["data"]["dash"]["video"][i]["baseUrl"]

print("最大码率视频地址为：", max_bandwidth_video)
print("最大码率为：", max_bandwidth)

解析html， 获取标题，播放量，点赞数，收藏数，视频标签等信息

视频各种信息主要通过正则表达式或者xpath获取，这个根据个人喜好来

# 获取视频标题
title = re.findall('<h1 title="(.*?)"', response.text)[0]
# 如果标题里有[\/:*?<>|]特殊字符，直接删除
title = re.sub(r"[\/:*?<>|]","",title)
print("视频标题为：",title)

# 获取视频描述
# '/html/body/div[2]/div[2]/div[1]/div[4]/div[1]/div[1]/span/text()'
desc = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[4]/div[1]/div[1]/span/text()')
print("视频描述为：",desc)

# tags
# /html/body/div[2]/div[2]/div[1]/div[4]/div[2]/div/div[1]/div/a
tags = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[4]/div[2]/div/div/div/a/text()')
print("视频标签为：",tags)

# 点赞数量
# /html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[1]/div/span
like = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[1]/div/span/text()')
print("点赞数量为：",like)

# 投币数量
# /html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[2]/div/span
coin = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[2]/div/span/text()')
print("投币数量为：",coin)

# 收藏数量
# /html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[3]/div/span
collect = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[3]/div/span/text()')
print("收藏数量为：",collect)

# 播放数量
# /html/body/div[2]/div[2]/div[1]/div[1]/div/div/span[1]
play = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[1]/div/div/span[1]/text()')
print("播放数量为：",play)

解析html， 获取视频及音频url

json对象data.dash.video下存储着不同清晰度的视频链接，我们这里直接获取带宽最大的，即为最高清的。
b站中的视频文件和音频文件是分开的，要都采集下来再合并。

html_data =  re.findall('<script>window.__playinfo__=(.*?)</script>', response.text)[0]

json_data=json.loads(html_data)

json_dicts = json.dumps(json_data,indent=4)

max_bandwidth_video = ''
max_bandwidth = 0

num = len(json_data["data"]["dash"]["video"])
for i in range(num):
    bandwidth = json_data["data"]["dash"]["video"][i]["bandwidth"]
    if bandwidth > max_bandwidth:
        max_bandwidth = bandwidth
        max_bandwidth_video = json_data["data"]["dash"]["video"][i]["baseUrl"]

print("最大码率视频地址为：", max_bandwidth_video)
print("最大码率为：", max_bandwidth)

audio_url = json_data["data"]["dash"]["audio"][0]["baseUrl"]
print("音频地址为：", audio_url)

保存视频文件，音频文件

video_content = requests.get(url=max_bandwidth_video,headers=video_header).content
# 创建mp4文件，写入二进制数据
with open (f'./temp/{title}' +".mp4", mode = "wb") as f :
    f.write(video_content)

audio_content = requests.get(url=audio_url,headers=video_header).content

# 创建mp4文件，写入二进制数据
with open (f'./temp/{title}'+".mp3", mode = "wb") as f :
    f.write(audio_content)

print("数据写入成功！")

合并视频和音频文件

采用ffmpeg工具来将视频文件和音频文件进行合并，python中可以通过subprocess模块来调用ffmpeg，通过命令行传参的方式来指定视频路径和音频路径
ffmpeg下载及使用教程
https://blog.csdn.net/HYEHYEHYE/article/details/122000352

# 合并音视频
subprocess.run("ffmpeg -i ./temp/"+title+".mp4 -i ./temp/"+title+".mp3 -c copy "+title+"_new.mp4", shell=True)

完整代码


import requests
import re
import json
import subprocess  
import os
import time
# xpath解析库
import lxml.etree

url = "https://www.bilibili.com/video/BV1a94y1r7cA/?spm_id_from=333.999.0.0&vd_source=5a4735214a209e1bebb4e5a85701ed93"


headers = {
    "referer":"https://www.bilibili.com",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
    "Cookie": "buvid3=BA1E739E-0809-2475-97DD-E58D4BEC418638521infoc; b_nut=1682651738; _uuid=91048C7C4-AB48-5FD5-ABE6-573CFDCC373D42674infoc; buvid4=DDC40E23-64EC-1DDE-8CFC-47E73C5751DA39361-023042811-fPFu10NyFO289IqHdLqHoQ%3D%3D; i-wanna-go-back=-1; FEED_LIVE_VERSION=V8; header_theme_version=CLOSE; nostalgia_conf=-1; CURRENT_PID=b7e98f20-ea25-11ed-830e-57cc8ef04574; rpdid=|(m)~kYmmJ|0J'uY)JuY)JkR; DedeUserID=402137245; DedeUserID__ckMd5=f90c569b7ef218ce; b_ut=5; buvid_fp_plain=undefined; LIVE_BUVID=AUTO2016894803706410; enable_web_push=DISABLE; CURRENT_FNVAL=4048; fingerprint=d579292d500cc9932d44b28e8146d0f9; PVID=1; buvid_fp=d579292d500cc9932d44b28e8146d0f9; CURRENT_QUALITY=80; home_feed_column=5; browser_resolution=1536-769; b_lsid=A5F46371_18DD3C203F1; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MDg5MTM5MjgsImlhdCI6MTcwODY1NDY2OCwicGx0IjotMX0.XyaWKeyeJXXQnaDjppT00_mqGW-cyZIIpraHrnkzq7U; bili_ticket_expires=1708913868; SESSDATA=1f035437%2C1724206732%2C233ec%2A21CjARenfJNW9yna6TAk7Nc3MgK54ROdev3AfkgbWAQj9MpsQR2VGuEsXdQ8Vl1Sv3eJASVmdrNFJOM3YxZTJJdTEwRGdJSUhYTENudXJScmJBcURPX3AzM2x2djlOVjdCVExhTkVEYnZwbzVwMktjMW5FUG5MMTNQdjhvWVZ0SmllWjQ0aGhRcG1BIIEC; bili_jct=695249d64b478cdd2b7ce263fbe65607; sid=nstfzvct; bp_video_offset_402137245=901118511340847111"
}

video_header = {
    "referer": url,
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}

response = requests.get(url=url, headers=headers)

# 时间戳
timestamp = time.strftime("%Y%m%d%H%M%S", time.localtime())
# 创建文件夹
if not os.path.exists(f"./bilibili/temp/{timestamp}"):
    os.makedirs(f"./bilibili/temp/{timestamp}")

# 保存网页源码
with open(f"./bilibili/temp/{timestamp}/index.html", "w", encoding="utf-8") as f:
    f.write(response.text)

# 获取视频标题
title = re.findall('<h1 title="(.*?)"', response.text)[0]
# 如果标题里有[\/:*?<>|]特殊字符，直接删除
title = re.sub(r"[\/:*?<>|]","",title)
print("视频标题为：",title)

# 获取视频描述
# '/html/body/div[2]/div[2]/div[1]/div[4]/div[1]/div[1]/span/text()'
desc = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[4]/div[1]/div[1]/span/text()')
print("视频描述为：",desc)

# tags
# /html/body/div[2]/div[2]/div[1]/div[4]/div[2]/div/div[1]/div/a
tags = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[4]/div[2]/div/div/div/a/text()')
print("视频标签为：",tags)

# 点赞数量
# /html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[1]/div/span
like = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[1]/div/span/text()')
print("点赞数量为：",like)

# 投币数量
# /html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[2]/div/span
coin = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[2]/div/span/text()')
print("投币数量为：",coin)

# 收藏数量
# /html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[3]/div/span
collect = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[3]/div[1]/div[1]/div[3]/div/span/text()')
print("收藏数量为：",collect)

# 播放数量
# /html/body/div[2]/div[2]/div[1]/div[1]/div/div/span[1]
play = lxml.etree.HTML(response.text).xpath('/html/body/div[2]/div[2]/div[1]/div[1]/div/div/span[1]/text()')
print("播放数量为：",play)


html_data =  re.findall('<script>window.__playinfo__=(.*?)</script>', response.text)[0]


with open(f"./bilibili/temp/{timestamp}/data.json", "w", encoding="utf-8") as f:
    f.write(html_data)

# 结束执行
# exit()

json_data=json.loads(html_data)

json_dicts = json.dumps(json_data,indent=4)

max_bandwidth_video = ''
max_bandwidth = 0

num = len(json_data["data"]["dash"]["video"])
for i in range(num):
    bandwidth = json_data["data"]["dash"]["video"][i]["bandwidth"]
    if bandwidth > max_bandwidth:
        max_bandwidth = bandwidth
        max_bandwidth_video = json_data["data"]["dash"]["video"][i]["baseUrl"]

print("最大码率视频地址为：", max_bandwidth_video)
print("最大码率为：", max_bandwidth)

# exit()

video_content = requests.get(url=max_bandwidth_video,headers=video_header).content
# 创建mp4文件，写入二进制数据
with open (f'./temp/{title}' +".mp4", mode = "wb") as f :
    f.write(video_content)

# print("视频画面数量为：", num)
# print("视频画面地址为：", video_url)


audio_url = json_data["data"]["dash"]["audio"][0]["baseUrl"]
print("音频地址为：", audio_url)

audio_content = requests.get(url=audio_url,headers=video_header).content

# 创建mp4文件，写入二进制数据
with open (f'./temp/{title}'+".mp3", mode = "wb") as f :
    f.write(audio_content)

print("数据写入成功！")

# 合并音视频
subprocess.run("ffmpeg -i ./temp/"+title+".mp4 -i ./temp/"+title+".mp3 -c copy "+title+"_new.mp4", shell=True)

联系交流

在这里插入图片描述

Z先森
关注
Python实现B站视频数据信息内容采集
m0_72282564的博客
02-22 2721
常用: cookie / referer / host / User-Agent (UA)保存 图片/音频/视频/特定格式文件 的时候, 获取content 表示获取二进制数据。response.json() 获取响应json数据。数据: 视频相关信息: 标题 / 播放量 / 弹幕量 / 评论 / 作者…
手把手教你使用Python网络爬虫获取B站视频选集内容（附源码）
i54996的博客
10-14 2174
一提到B站，第一印象就是视频，相信很多小伙伴和我一样，都想着去利用网络爬虫技术获取B站的视频吧，但是B站视频其实没有那么好拿到的，关于B站的视频获取，之前有介绍通过you-get库进行实现，感兴趣的小伙伴可以看这篇文章：You-Get 就是这么强势！。 言归正传，经常在B站上学习的小伙伴们可能经常会遇到有的博主连载几十个，甚至几百个视频，尤其像这种编程语言、课程、工具使用等连续的教程，就会出现选集系列，如下图所示。 当然这些选集的字段我们肉眼也是可以看得到的。只是通过程序来实现的话，可能...
B站视频采集软件（哔哩哔哩）
yish1122的博客
03-26 2488
B站视频采集软件（哔哩哔哩），可以按照关键词、分类和作者主页批量采集，详细功能见软件截图：
使用 python 下载 bilibili 视频
最新发布
guanxxx的博客
10-14 7162
本文想要达成的目标为：运行 python 代码之后，在终端输入视频链接，可自动下载高清 1080P 视频并保存到相应文件夹。具体可分为两大步：首先，使用浏览器开发者工具 F12 获取请求链接相关信息（根据 api 接口下载？加密参数信息？是从 html 文件获取到具体的链接？链接在 html 文件中位置？然后，确定使用的 python 库，并写出代码。
Python爬虫：爬取B站视频（最新、能用且讲解详细）【01】
热门推荐
knighthood2001
05-24 2万+
📚✨🎃今天，我们来实现一下，B站视频的爬取。（本文仅供学习讨论）
Python爬虫B站视频采集实现
激情人生，美好生活
01-04 492
B站的资源实在太好，从性感美女的短裙热舞到理工宅男的代码技术，干货满满，可以说是个人娱乐和学习的不二之选。好的东西总是想拥有，所以就萌发了采集b站视频的想法
Python——B站UP主视频信息采集
土豆~的博客
12-18 958
爬取B站UP主视频主页视频信息，因为每一次都得打开网页观看新闻，而且进入过程有大量视频与图片，太消耗时间与精力，所以利用此程序根据标题选择需要看的新闻。
爬虫练习：采集B站up主视频信息
m0_74972727的博客
01-19 1433
【代码】采集B站up主视频信息。
Python项目开发实战_数据挖掘与分析-Bilibili视频爬虫_编程案例解析实例课程教程.pdf
04-10
总的来说，Python项目开发实战中的数据挖掘与分析Bilibili视频爬虫，需要开发者具备扎实的Python编程基础，理解网络爬虫的工作原理，熟悉数据处理和分析的方法，以及能够利用数据挖掘技术从海量视频数据中提取有价值...
Python GUI软件实现社交媒体评论数据采集教程
2.以B站为例的数据采集过程： - 用户打开B站视频并找到需要采集评论的视频页面。 - 使用浏览器的F12开发者工具打开页面资源监控。 - 在开发者工具中选择Network工具栏，观察数据包的加载情况。 - 在网络请求中找到与...
JS逆向教程：Python采集今日头条视频
Python_sn的博客
10-30 1198
最近在做今日头条文章数据抓取的过程中，发现视频地址的获取较为复杂。在源码与浏览器配合下发现对应的解决思路，故此记录一下。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤QQ群：623406465 目录 需要的Python模块 实现思路 代码及运行结果 正文 1.需要的.
python 下载bilibili视频
weixin_30835649的博客
07-18 808
说明: 1.清晰度的选择要登录,暂时还没做,目前下载的视频清晰度都是默认的480P 2.进度条仿linux的,参考了一些博客修改了下,侵删 3.其他评论,弹幕之类的相关爬虫代码放在了https://github.com/teleJa/bilibili 4.判断sys.argv那个地方是因为一些爬虫调用了该文件,如果感觉不方面,直接传递视频番号进去就可以了 下载过程如图 直接上代码:...
python下载bilibili视频
DUTwangtaiyu的博客
05-16 577
看了一个知乎大佬写的用python命令行下载在线视频网站的视频 实在是太厉害了，膜拜 附上知乎链接，因为也不知道能不能转载（小透明瑟瑟发抖） https://www.zhihu.com/question/41367609 简单记一下笔记： 1 python 3.7 以上，pip3 install --upgrade you-get //下载you-get 这个包 2 直接输入you-get + 网站链接 再次膜拜 ...
使用 Python 下载 B 站视频
weixin_48923393的博客
07-27 1982
文 |某某白米饭来源：Python 技术「ID: pythonall」B 站，一个月活用户达到 1.72 的视频网站，有时候会因为某些未知的原因导致放入收藏夹的视频失效，为了防止视频被...
Python 分析案例｜数据采集案例：B 站 UP 主发布视频信息采集
长行
05-29 1655
实现目标 本案计划实现：通过网络请求，获取UP主发布的所有视频的信息（包括视频标题、视频播放次数），并输出到控制台。 【案例应用技巧】 GET请求(requests)：headers 浏览器抓包(Chrome) 翻页 Json解析(json) 实现过程 当前爬虫的实现流程如下： 确定数据所在的Url，以及控制翻页的参数 执行网页请求并解决请求中出现的问题 Json解析 实现翻页 下面我们按着以上步.
python并行下载bilibili视频
qq_41506710的博客
11-14 226
通过pip安装 须知您务必使用版本3的 pip: pip3 install you-get Git clone 不常使用Python，作为开发者，也请使用此方法 git clone git://github.com/soimort/you-get.git import os from multiprocessing.dummy import Pool as ThreadPool def process_down(url): os.system(url) def url_all_list(
Python：保存b站的cookie到本地
knighthood2001
06-12 826
📚✨🎃之前讲过一篇关于b站登录相关的博客，其中的代码是我在一个论坛中看到的，现在我选择面向过程的角度来讲一下。
Python 批量下载BiliBili视频 打包成软件
Python_sn的博客
09-01 211
文章目录 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：101677771 一、项目概述 1.项目背景 2.环境配置 下载ffmpeg 设置环境变量 二、项目实施 1.导入需要的库 2.设置请求参数 3.基本处理 4.下载视频 5.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值