Python采集某网站小视频内容, m3u8视频内容下载

最新推荐文章于 2024-07-23 22:17:33 发布
最新推荐文章于 2024-07-23 22:17:33 发布
阅读量412 收藏 2
点赞数
分类专栏： 爬虫小案例 文章标签： python 音视频 开发语言 pycharm 学习 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62853513/article/details/134752186
版权

前言

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章

如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码

环境使用:

  • Python 3.10

  • Pycharm

模块使用:

  • import requests >>> pip install requests

  • import re

  • import json

什么流媒体 (m3u8)

把完整视频内容, 分割成N个视频片段(ts文件)

所有ts文件都存在m3u8文件中

爬虫实现流程: 从单个视频采集 -> 多个视频采集

一. 数据来源分析

  1. 明确需求: 明确采集的网址以及数据

    • 网址: https://www.acfun.cn/v/ac36564705

    • 数据: 视频内容

  2. 抓包分析: 通过开发者工具分析数据对应位置 (浏览器上面进行的)

    • 打开开发者工具: F12 / 右键点击检查 选择 network (网络)

    • 刷新网页

    • 通过关键字去搜索找到对应数据包

      关键字: 是什么? (m3u8)

    数据包地址: https://www.acfun.cn/v/ac36564705

    1. m3u8文件链接

    2. 视频标题

目的: 完整一个视频内容 --> 分成N个视频片段(ts) --> m3u8链接中来的 --> https://www.acfun.cn/v/ac36564705

二. 代码实现步骤: 发送请求 -> 获取数据 -> 解析数据 -> 保存数据

第一次请求: 获取 m3u8链接 / 视频标题

1. 发送请求 -> 模拟浏览器对于url地址发送请求
    请求网址: https://www.acfun.cn/v/ac36564705 (视频详情页面)
2. 获取数据 -> 获取服务器返回响应数据 <整个网页数据>
3. 解析数据 -> 获取 m3u8链接 / 视频标题

第二次请求: 获取所有ts文件链接 (视频片段链接)

1. 发送请求 -> 模拟浏览器对于url地址发送请求
    请求网址: m3u8链接
2. 获取数据 -> 获取服务器返回响应数据
3. 解析数据 -> 获取 ts文件链接

第三请求: 获取视频内容

1. 发送请求 -> 模拟浏览器对于url地址发送请求
    请求网址: ts文件链接
2. 获取数据 -> 获取视频数据内容
3. 保存数据 -> 把所有视频片段合并成一个完整的视频内容

多个视频采集 (单页视频内容) -> 多页视频采集

- 分析请求链接变化规律
    https://www.acfun.cn/v/ac36564705 (视频详情页)
    https://www.acfun.cn/v/ac36448650
    https://www.acfun.cn/v/ac36260976
视频ID -> 获取所有视频ID即可保存所有视频内容

无论是什么ID都可以目录页面/列表页 (动态&静态)

- https://www.acfun.cn/u/29946310?quickViewId=ac-space-video-list&reqID=3&ajaxpipe=1&type=video&order=newest&page=4&pageSize=20&t=1701435800333
1. 发送请求
2. 获取数据
3. 解析数据 -> 视频ID

代码展示

导入模块

'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
# 导入数据请求模块
import requests
# 导入正则表达式模块
import re
# 导入json
import json
# 导入格式化输出模块
from pprint import pprint

“”"

第一次请求: 获取 m3u8链接 / 视频标题

re.findall('匹配的数据', '数据源') 表示找到所有你想要数据

“”"
模拟浏览器

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}

请求网址

link = 'https://www.acfun.cn/u/29946310?quickViewId=ac-space-video-list&reqID=3&ajaxpipe=1&type=video&order=newest&page=4&pageSize=20&t=1701435800333'

发送请求 & 获取数据

link_data = requests.get(url=link, headers=headers).text

提取视频ID

'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
video_id_list = re.findall('"atomid.*?":.*?"(\d+).*?"', link_data)
for video_id in  video_id_list:
    # 请求网址
    url = f'https://www.acfun.cn/v/ac{video_id}'
    # 发送请求
    response = requests.get(url=url, headers=headers)
    # 获取数据
    html_data = response.text
    # 提取标题
    title = re.findall('"title":"(.*?)",', html_data)[1]
    # 提取m3u8 json格式 -> 字符串
    info = re.findall('window.videoInfo = (.*?);', html_data)[0]

转成字典 -> 键值对取值 (根据冒号左边的内容, 提取冒号右边的内容)

    m3u8 = json.loads(json.loads(info)['currentVideoInfo']['ksPlayJson'])['adaptationSet'][0]['representation'][0]['url']

“”"

第二次请求: 获取所有ts文件链接 (视频片段链接)

“”"
发送请求 / 获取数据

    m3u8_data = requests.get(url=m3u8, headers=headers).text

提取ts链接 re.S 可以匹配换行符

    ts_list = re.findall(',\n(.*?)\n#', m3u8_data, re.S)
    print(title)

for循环遍历

'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
    for ts in ts_list:
        # https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/c3471e9635d5b851-b7141b506c6f33d5ec893077a0e6ea00-hls_720p_hevc_1.00000.ts?pkey=ABA7dgfgyTtgBjZ5eK0fj8UYJswNXhxR5r6TYp88ERtwdxUrka3AeDhOH15qo9_CVqys7YOy2zrIh57HrKdTrZuZu-X4fzDs-1NfmZqVh5Kleqju83jWLYI4KzYRM6OsNaLFH79UTqK3TB_ZVzBqxUM7BL1eORRCELLAcEPaQlhTZvhPi-t4f4T9kT82DXVTUNPEWWchOB2xXohj5p9oRmhRQtxZhfaOAYPtcxAPMsUmp7xCDP1c9PYzAScVXIUWGuA&safety_id=AAKpFGD5RVG_bSdCrDreLaxk
        ts_url = 'https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/' + ts

“”"

第三请求: 获取视频内容

“”"

        ts_content = requests.get(url=ts_url, headers=headers).content
        with open('video\\' + title + '.mp4', mode='ab') as f:
            f.write(ts_content)
        print(ts_url)

尾语

好了，今天的分享就差不多到这里了！

对下一篇大家想看什么，可在评论区留言哦！看到我会更新哒(ง •_•)ง

喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！

最后，宣传一下呀~👇👇👇 更多源码、资料、素材、解答、交流 皆点击下方名片获取呀👇👇👇

「已注销」
关注
专栏目录
Python采集某xsp内容, m3u8视频内容下载
weixin_62853513的博客
06-23 374
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章。
Python采集某网站小视频内容, m3u8内容下载
热门推荐
weixin_62853513的博客
10-28 2万+
大家早好、午好、晚好吖~
网页视频采集
Shangdyu的专栏
11-19 1974
昨天去外面聚餐了，所以晚上没写，贵在坚持啊，才刚刚开始，我要努力了的。 1.昨天主要在网上找了网页视频通信的资料的，原来想用applet和jmf直接嵌入网页，但是applet好像不大受欢迎，然后那啥flash基本上又不知道。 最后在csdn上找到个源码，可以下载并且使用，稍微有点美中不足，里面封装了一个activeX，貌似是没有签名什么之类的吧，要改浏览器的安全信息才能运行。想
如何下载网站上的M3U8链接下载视频到电脑
07-22 2711
方法二：使用专门的视频下载软件 有一些专用软件，比如星尘库m3u8下载器(很多网站的视频文件都是用的是m3u8格式视频) 等，软件可以解析不同网站的视频链接并下载。怎么抓取网页的视频 怎么抓取m3u8链接 网页的视频链接怎么获取 怎么获取网页的m3u8链接。在线视频下载网站：提供视频链接给一些在线视频下载服务网站，这些网站会分析链接并提供下载选项。如何下载网站上的视频到电脑如何下载网站上的M3U8链接下载视频到电脑。鼠标右键点击视频，看是否有“复制视频链接”、“视频另存为”等选项。星尘库M3U8下载器。
最新自动采集视频网站
07-13
最新自动采集视频网站，不需要人工采集！ 1.环境要求：php7+ 支持伪静态 2.将源码上传到网站根目录 3.http://你的域名/install 安装 后台地址:http://你的域名/admin 账号密码安装的时候自己设置。 Freekan 3.83 5月3日更新内容 1.后台所增两套模版 2.更改wapian模版的主题颜色 3.播放页新增提示 5.直播加入批量添加功能 6.前端电影综艺动漫电视板块播放页加入猎你喜欢模块 7.首页公告下广告位显示 8.首页手机端友链显示 9.修复首页背景图片自动采集更换卡的问题 10.修复手机wap页面不居中问题 11.去除后台授权码设置 12.后台新增检测更新
Python爬取视频（m3u8格式）
m0_73795841的博客
12-11 1037
这是一页a站up主的搞笑视频，想爬其他的稍微改一下就下行，代码虽然不多，但都是基础，很多重要的爬虫知识点，可以当练习做！
用Python写一个视频采集脚本，对某网站进行批量采集
轻松学python的博客
07-20 577
最近某牙上又出现一批高质量视频，听说删的很快，还好我会Python，赶紧采集下来保存！
Python采集某网站内容, m3u8内容下载
python56123的博客
05-28 1万+
前言 嗨喽，大家好呐！这里是魔王~ 环境使用: Python 3.8 <建议最好是和一样版本> Pycharm 模块使用: import requests >>> pip install requests 内置模块 你安装好python环境就可以了 import re import json 如果安装python第三方模块: win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回
Python采集某网站m3u8内容，美女我来了~
m0_72282564的博客
12-27 1万+
嗨喽，大家好呀~这里是爱看美女的茜茜呐又到了学Python时刻~
Python采集视频数据，下载流媒体m3u8格式
python56123的博客
03-25 3678
前言 嗨喽！大家好，这里是魔王~ 本次目的： Python采集网站视频，下载流媒体m3u8格式视频 模块使用： requests >>> pip install requests (数据请求 第三方模块) re # 正则表达式 去匹配提取数据 json 开发环境： Python 3.8 解释器 Pycharm 2021.2 版本 建议 win + R 输入cmd 输入安装命令 pip install 模块名 如果出现爆红 可能是因为 网络连接超时 切换国内镜像源 爬
利用python爬虫通过m3u8文件下载ts视频
m0_60635321的博客
04-28 908
本篇文章处理第1和第2条内容，加密部分跳过。上面我提供的ts文件中并没有加密，也就是没有关键字key，下载ts文件之后直接合并即可ts文件路径获取由于上面的m3u8文件中所有的ts文件都是相对地址，所以需要依据中获取到的链接其中前面的部分是ts的播放地址的前缀地址。
Python爬虫爬取视频_index.m3u8_ts.rar
03-03
一个小项目(注释真的很多撒)，支持以下几种方式，自己下载index.m3u8，给出网页基址然后自动下载ts，或者直接给出视频网页的地址（一般情况下，视频每一集的网页地址是有规律的，其视频所在标签会给出相应的m3u8文件的地址，需要调整一下程序），之后自行下载index.m3u8文件之后全自动后续。（不排除index.m3u8文件和ts文件不在同一个网址下，但是这样无聊的人估计很稀少。。。）程序具有加载进度条，可以看到下载的进程。
m3u8资源下载
08-19
能下载m3u8类的资源，调用ffmpeg下载。能整合整个M3U8
【python爬虫】爬取网页视频，解析m3u8文件，获取ts并合成mp4
03-02
python爬虫相关： 由于很多网站上的视频只提供在线观看，没有下载入口，故有必要进行网络爬虫获取视频资源。 利用requests获取网页源代码中的m3u8链接，对链接进行逐步解析，获取ts列表，下载所有ts文件，将其合并生成mp4文件。做到对视频的爬取。 同名博文相关代码。
视频网页搭建采集
08-24
视频网页采集源码安装的
ysp_m3u8采集网_m3u8采集_m3u8视频采集_m3u8采集s站_php采集_
10-02
php采集，m3u8一次解析源码：测试可用的M3U8视频解析接口源码 一次解析就是直接解析，二次解析是采集的别人的解析接口封装后再解析，多数都有广告，不过这个只支持.m3u8格式的视频地址解析！
Python爬虫:通过js逆向获取某视频平台上的视频的m3u8链接
坚持不懈的大白的博客
09-08 5143
现在我们在网页端看的视频，其前端实现原理就小编目前知道的而言，总的有两点:其一，直接就是一个mp4(或其他类似的)视频链接，如果我们能得到这个视频链接，直接用这个链接就能下载到这个视频；其二，和第一点差不多吧！但是直接用链接下载，获取不到视频文件，而是一个其他类型的文件(比如m3u8文件)，虽然不能直接下载到视频，但是通过进一步处理，最后还是能得到视频文件的。
python3爬取m3u8视频
qq_28969139的博客
02-03 1553
爬m3u8文件，解析所有ts的url，爬取ts保存至本地，合并为完整文件。 附上直接可以用的代码 import requests import urllib3 import re import os urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) def getTsUrls(m3u8_url) -&...
Python爬虫（5） --爬取网页视频
最新发布
m0_74896766的博客
07-23 3178
指定url发送请求UA伪装：UA、Referer防盗链和Cookie身份信息都放在head中获取你想要的数据在Element获取视频信息数据解析在响应Response中，定位视频的具体位置，请求访问它特别注意：其实与爬取文本和图片区别不大，主要是定位到视频的位置。指定url发送请求UA伪装：UA、Referer防盗链和Cookie身份信息都放在head中获取你想要的数据在Element获取视频信息数据解析。
Python3.6：m3u8加密视频的Python下载与解密教程
在本篇文章中，作者将向读者介绍如何使用Python 3.6来根据m3u8格式的链接下载mp4视频。当遇到加密的m3u8视频时，通常视频链接会被转化为"blob:http"形式，无法直接访问。作者首先通过Chrome浏览器的开发者工具，定位...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值