python 爬虫 m3u8 视频文件 加密解密 整合mp4

已于 2024-01-17 14:59:34 修改
阅读量3.2k 收藏 41
点赞数 20
分类专栏： 数据采集 Python爬虫 文章标签： python 爬虫
于 2023-12-11 23:44:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72947390/article/details/134938933
版权

文章目录

一、完整代码

完整代码如下：

import requests
from multiprocessing import Pool
import re
import os
from tqdm import tqdm
from Crypto.Cipher import AES


# 创建临时文件夹
dirs = 'ts_list_need_to_merge/'
os.makedirs(dirs, exist_ok=True)

headers = {
        'Accept': '*/*',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
        'Connection': 'keep-alive',
        'Origin': 'http://www.kpd510.me',
        'Referer': 'http://www.kpd510.me/',
        'Sec-Fetch-Dest': 'empty',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'cross-site',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.69',
        'sec-ch-ua': '"Chromium";v="116", "Not)A;Brand";v="24", "Microsoft Edge";v="116"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
    }



def parse_m3u8_text(m3u8_text):
    m3u8_text = m3u8_text.split()
    encode_info = [line for line in m3u8_text if line.startswith('#EXT-X-KEY:')][0]
    pattern = r"#EXT-X-KEY:METHOD=(.*),URI=\"(.*)\""  
    
    ## 获得加密method 和 key.key的url
    match = re.search(pattern, encode_info)
    if match:
        method = match.group(1)
        key_url = match.group(2)
    else:
        raise '解析失败'
    
    ## 获得ts文件url
    ts_list = [line for line in m3u8_text if line.endswith('ts')]
    return method, key_url, ts_list

def decrypt_content_and_save_file(filename, content, decrypter):
    with open(filename, mode='wb') as f:
        f.write(decrypter.decrypt(content))


def merge_ts_to_mp4(filename, ts_file_list):
    with open(filename, mode='ab') as f1:
        for ts_file in ts_file_list:
            with open(ts_file, mode='rb') as f2:
                f1.write(f2.read())
    print(filename, '完成！')


def process_one_url(ts_url, key):
    decrypter = AES.new(key, AES.MODE_CBC)
    filename = dirs + os.path.split(ts_url)[-1]
    content = requests.get(ts_url, headers=headers).content
    decrypt_content_and_save_file(filename, content, decrypter)
    return filename


def download_method_1(ts_list, key):
    # 普通次序一个一个下载，耗时11分钟
    ts_file_list = []
    for ts_url in tqdm(ts_list):
        filename = process_one_url(ts_url=ts_url, key=key)
        ts_file_list.append(filename)
    return ts_file_list


def download_method_2(ts_list, key, processes_nums=2):
	# 多进程下载， 耗时1分钟
    class CallBack:
        def __init__(self, nums) -> None:
            self.pbar = tqdm(total=nums)
            self.filenames = []
        
        def callback(self, filename):
            self.pbar.update(1)
            self.filenames.append(filename)
    
    callback = CallBack(len(ts_list))
    pool = Pool(processes=processes_nums)
    for ts_url in ts_list:
        pool.apply_async(process_one_url, (ts_url, key), error_callback=print, callback=callback.callback)
    pool.close()
    pool.join()
    callback.pbar.close()
    return [dirs + os.path.split(ts_url)[-1] for ts_url in ts_list]


if __name__ == "__main__":
    m3u8_url = 'https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/index.m3u8'
    response = requests.get(m3u8_url, headers=headers)
    m3u8 = response.text
    method, key_url, ts_list = parse_m3u8_text(m3u8)
    
    key_url = 'https://play.bo262626.com' + key_url
    ts_list = ['https://play.bo262626.com' + item for item in ts_list]
    
    key = requests.get(key_url, headers=headers).content
    ts_file_list = download_method_2(ts_list, key=key, processes_nums=10)
    
    merge_ts_to_mp4('test.mp4', ts_file_list)

二、视频分析

1. 认识m3u8文件

m3u8的结构详细分析可以看这个链接m3u8 文件格式详解 - 简书 (jianshu.com)，这里我们只简要介绍一下；

相信无论多小白都应该知道如何打开开发者模型解析得到下面的结果；

要注意的是，只有预览里面包含了ts信息的才算是我们需要的m3u8文件；大家可以看到左侧有两个index.m3u8，其中一个是没有ts信息的，所以我们直接忽略掉；现在我们先下载来，再来具体分析一下m3u8文件以及里面的内容分别表达什么意思；

下载代码如下：

import requests
import re

headers = {
    'Accept': '*/*',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Connection': 'keep-alive',
    'Origin': 'http://www.kpd510.me',
    'Referer': 'http://www.kpd510.me/',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'cross-site',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.69',
    'sec-ch-ua': '"Chromium";v="116", "Not)A;Brand";v="24", "Microsoft Edge";v="116"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

response = requests.get('https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/index.m3u8', headers=headers)

m3u8 = response.text

m3u8文件的实质是一个视频的url列表，其中ts是计算器可以直接播放的视频格式文件，但是直接下载是可能被加了密的文件，我们需要m3u8文件内容信息进行解密；

我们可以这样理解，m3u8把一个完整的mp4视频切割成了很多的小块，每一个小块在m3u8都是ts文件格式，并在m3u8中采取了加密的措施，至于为什么要加密，这里就不多介绍；

在一般的视频爬取中，我们只需要考虑两个部分，一个是EXT-X-KEY，一个是ts；

其中EXT-X-KEY包含了ts的加密方式，ts包含了ts文件的下载地址；

在红色部分也就是EXT-X-KEY部分，我们可以从METHOD中获取到采取的加密方式是AES-128，同时看到URI的地址/20231126/10VkaJks/700kb/hls/key.key，这也就是AES加密密匙的地址：key.key，接下来我们写一个文件来对m3u8文件解析，目的是提取出红色部分和蓝色部分；

代码如下：

def parse_m3u8_text(m3u8_text):
    m3u8_text = m3u8_text.split()
    encode_info = [line for line in m3u8_text if line.startswith('#EXT-X-KEY:')][0]
    pattern = r"#EXT-X-KEY:METHOD=(.*),URI=\"(.*)\""  
    
    ## 获得加密method 和 key.key的url
    match = re.search(pattern, encode_info)
    if match:
        method = match.group(1)
        key_url = match.group(2)
    else:
        raise '解析失败'
    
    ## 获得ts文件url
    ts_list = [line for line in m3u8_text if line.endswith('ts')]
    return method, key_url, ts_list

## 在这里我们直接把m3u8文本丢进去就可以获得
## method, key_url, ts_list
method, key_url, ts_list = parse_m3u8_text(m3u8)
## method = 'AES-128'
## key_url = '/20231108/xV1bY9Cn/700kb/hls/key.key'
## ts_list = ['...ts', '...ts', ...]

2. 获取密钥，构建解密器

因为构建解密器我们需要密钥，而密钥存储在key.key中，首先我们需要解析key_url获取密钥；

在这里可以明显的看到key_url = '/20231108/xV1bY9Cn/700kb/hls/key.key'这不是一个完整的url，我们在这里加上获取m3u8请求的主域名便好；

代码如下：

headers = {
    'Accept': '*/*',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Connection': 'keep-alive',
    'Origin': 'http://www.kpd510.me',
    'Referer': 'http://www.kpd510.me/',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'cross-site',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.69',
    'sec-ch-ua': '"Chromium";v="116", "Not)A;Brand";v="24", "Microsoft Edge";v="116"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

key_url = 'https://play.bo262626.com' + key_url
key = requests.get(key_url, headers=headers).content
# 这里我们得到key = b'388d590fabfeabcf' 是一个二进制结果

得到了密钥，再结合加密方式AES-128，我们就可以构建一个解密器，构建解密器代码如下：

from Crypto.Cipher import AES
## 这里网络爬取视频一般是MODE_CBC模式
decrypter = AES.new(key, AES.MODE_CBC)

这里要提起的是网络上的m3u8文件采取的加密一般是AES.MODE_CBC模式，在后续操作中如果这里出问题就换MODE一个一个试就好；

3. 下载ts文件

由于有许多的ts文件，我们有三种方法，第一是简单的requests请求一个一个下，这也是最费时的一种；第二个是多进程或者多线程的方式下载；第三个是采用协程的方式；接下来我们一个个实现；

在开始之间，ts_list存在同样的问题，就是需要重构url，这里代码如下：

ts_list = ['https://play.bo262626.com' + item for item in ts_list]

# 这里得到：
# ['https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/o3jSJ9mc.ts',
#  'https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/GNHDlClJ.ts',
#  'https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/zKym5c6V.ts',
#  'https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/4ll4NQH3.ts',
#  'https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/RwUOniSQ.ts' ...]

再测试一下解密器是否可以：

import os
from tqdm import tqdm

dirs = 'ts_list_need_to_merge/'
os.makedirs(dirs, exist_ok=True)


def decrypt_content_and_save_file(filename, content, decrypter):
    with open(filename, mode='wb') as f:
        f.write(decrypter.decrypt(content))


def process_one_url(ts_url, key):
    decrypter = AES.new(key, AES.MODE_CBC)
    filename = dirs + os.path.split(ts_url)[-1]
    content = requests.get(ts_url, headers=headers).content
    decrypt_content_and_save_file(filename, content, decrypter)
    return filename

process_one_url(ts_list[0], key)

## 打开视频看是否能打开
## 如果能打开说明解密没问题

直接requests: 代码如下

def download_method_1(ts_list, key):
    # 这里弄一个filename_list 方便后续合并ts到mp4
    ts_file_list = []
    for ts_url in tqdm(ts_list):
        filename = process_one_url(ts_url=ts_url, key=key)
        ts_file_list.append(filename)
    return ts_file_list

# 下载测试
ts_file_list = download_method_1(ts_list, key)

实现挺慢的，不合理；

多进程: 代码如下

def download_method_2(ts_list, key, processes_nums=2):
    class CallBack:
        def __init__(self, nums) -> None:
            self.pbar = tqdm(total=nums)
            self.filenames = []
        def callback(self, filename):
            self.pbar.update(1)
            self.filenames.append(filename)

    callback = CallBack(len(ts_list))
    pool = Pool(processes=processes_nums)
    for ts_url in ts_list:
        pool.apply_async(process_one_url, (ts_url, key), error_callback=print, callback=callback.callback)
    pool.close()
    pool.join()
    callback.pbar.close()
    return [dirs + os.path.split(ts_url)[-1] for ts_url in ts_list]

ts_file_list = download_method_2(ts_list, key=key, processes_nums=10)

爬取巨快，1分钟下载20多分钟的视频；

4. 合并ts文件为mp4

在完成前面的步骤后，直接ab的方式把所有的文件按顺序加入就好；

def merge_ts_to_mp4(filename, ts_file_list):
    with open(filename, mode='ab') as f1:
        for ts_file in ts_file_list:
            with open(ts_file, mode='rb') as f2:
                f1.write(f2.read())

merge_ts_to_mp4('test.mp4', ts_file_list)

后续如果需要删除'ts_list_need_to_merge/'这个临时文件夹里面的所有内容，直接运行下面代码

import send2trash

send2trash.send2trash('ts_list_need_to_merge/') # send2trash.send2trash(dirs)

三、总结

别在图书馆测试这段代码！

Bigcrab__
关注
  • 20
    点赞
  • 踩
  • 41
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
chatgpt赋能python：Python解密M3U8格式的视频文件
www_xuhss_com的博客
06-27 1495
M3U8是一种播放列表文件格式，它是根据M3U格式而来，并且支持UTF-8编码。它是一种基于HTTP Live Streaming（HLS）协议的视频文件格式，用于将视频数据分发到网络上各个客户端。M3U8由多个MPEG-2 TS文件（Transport Stream）组成，这些文件被分割成数秒音频或者视频片段，这些片段被以M3U8格式的文件作为播放列表呈现。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc。
使用openssl m3u8解密 EXT-X-KEY:METHOD=AES-128,URI=xxx
gdut17的博客
12-27 2万+
F12 步骤 自动化脚本 #这个预先生成 strkey=30613464393634393866656565386165 #一共有120个小文件 for j in $(seq 0 119) do #echo $j iv=$(printf '%032x' $j) #echo $iv input="./ts/"$j".mp4" output="./output/"$j"_out.mp4" #echo $input #echo $output openssl aes-128-
M3U8下载器(自动解密+合并：只需键入index.m3u8地址)
01-03
此工具是包含ffmpeg组件开发的，只需要m3u8地址即可自动web网页的下载合并
2024年Python最全利用python爬虫通过m3u8文件下载ts视频，计算机网络面试宝典
最新发布
2401_84140384的博客
05-03 889
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。URI，属性为NONE 或者 AES-128。
视频流加密解密技术
Ranye的博客
04-17 871
CENC 的机制受 MPEG-DASH（基于 HTTP 的动态自适应流媒体）ISO/IEC 标准 23001-7 管辖，该标准为多个 DRM 系统的兼容性提供了总体框架加密方法：AES, DES, RC4, 3DES, RSA，也就是什么对称加密，非对称加密，公钥私钥的那一套简单的理解，CENC 是用来规范加密的，DRM 是用来解密的。解密的方式有很多种，但加密的方式是同一种。这样，不同的 DRM 系统可以对同一文件进行解密，支持更广泛的可访问客户端。
加密的m3u8、ts文件合并
weixin_34190136的博客
05-13 2万+
加密后的ts文件不能直接合并或播放，需要使用key对每个ts文件进行解密。 分为两种情况： (1).如果ts文件已经全部下载好，则可以直接在本地通过ffmpeg快速解密合并。 (2).如果ts文件没有下载好，则可以通过vlc直接下载整个视频，或者通过ffmpeg下载并转换。 无论是哪种情况，都要去视频源地址下载m3u8文件。如果可以下载key(有些网站加密方式比较严谨，不那么容易获取到key)，把...
Python爬取m3u8格式的视频
Rainist的博客
09-06 3275
M3U8 是 Unicode 版本的 M3U，用 UTF-8 编码。“M3U” 和 “M3U8” 文件都是苹果公司使用的 HTTP LiveStreaming（HLS） 协议格式的基础，这种协议格式可以在 iPhone 和 Macbook 等设备播放。通俗点可以理解为，一个视频文件拆分为多个.ts片段的视频文件，然后将所有的ts合成MP4文件就可以播放了。但是为什么有些在线或者m3u8的播放器会用不了呢？由于大部门的m3u8生成的结果不太一致，与该播放器的解密格式不一样，所以导致打开。
m3u8加密文件的解密及ts文件的合并
热门推荐
小小城的博客
07-15 5万+
1.既然你能看到我这篇文章，说明你已经看过了其他很多类似的文章了，我也废话不多说了 2.首先你要搞到那个m3u8的文件，打开视频播放一会，然后刷新，再然后点击F12，或者手动进入开发者模式找到.m3u8的文件，然后根据url直接在浏览器中下载就可以，然后打开， #EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:13 #EXT-X-MEDIA-SEQUEN...
HLS 架构简介及播放加密的HLS
幽雨雨幽
10-17 5964
HLS 概述 HLS 全称是 HTTP Live Streaming, 是一个由 Apple 公司实现的基于 HTTP 的媒体流传输协议. 他跟 DASH 协议的原理非常类似. 通过将整条流切割成一个小的可以通过 HTTP 下载的媒体文件, 然后提供一个配套的媒体列表文件, 提供给客户端, 让客户端顺序地拉取这些媒体文件播放, 来实现看上去是在播放一条流的效果. 由于传输层协议只需要标准的 H...
m3u8\ts片段文件解密合成转换
Kearney
01-26 5229
简介 参考 直播流m3u8网页怎么下载？ [原创工具] M3U8批量下载器 V1.4.6【9月15日更新】 m3u8中ts文件无损批量合并与转换方法
Python爬取视频之爱情电影及解密TS文件和两种合并ts的方法
KeithPro的博客
07-29 2万+
俗话说，兴趣所在，方能大展拳脚。so结合兴趣的学习才能事半功倍，更加努力专心，apparently本次任务是在视频网站爬取国产爱情动作片，地址不放（狗头保命）只记录过程。 环境 &依赖 Win10 64bit IDE：Pycharm Python 3.8 Python-site-package:requests +BeautifulSoup + lxml + m3u8 + AES 在PyCharm中创建一个项目会创建一个临时目录存放环境和所需要的package包，所以要在PyCharm..
m3u8视频下载合并工具
06-20
m3u8视频下载合并工具，输入网址可直接将零散的缓存视频下载成m3u8视频文件，省去了UC、搜狗等浏览器缓冲后，还要用软件去合并的时间，一步到位。
m3u8视频合并为mp4小程序(非加密版)
03-08
m3u8视频合并为mp4小程序(非加密版) m3u8视频合并为mp4小程序(非加密版)m3u8视频合并为mp4小程序(非加密版) m3u8视频合并为mp4小程序(非加密版) 能够解密或在线解密的版本单独联系
【python爬虫】爬取网页视频，解析m3u8文件，获取ts并合成mp4
03-02
python爬虫相关： 由于很多网站上的视频只提供在线观看，没有下载入口，故有必要进行网络爬虫获取视频资源。 利用requests获取网页源代码中的m3u8链接，对链接进行逐步解析，获取ts列表，下载所有ts文件，将其合并生成mp4文件。做到对视频的爬取。 同名博文相关代码。
Python爬虫爬取视频_index.m3u8_ts.rar
03-03
一个小项目(注释真的很多撒)，支持以下几种方式，自己下载index.m3u8，给出网页基址然后自动下载ts，或者直接给出视频网页的地址（一般情况下，视频每一集的网页地址是有规律的，其视频所在标签会给出相应的m3u8文件的地址，需要调整一下程序），之后自行下载index.m3u8文件之后全自动后续。（不排除index.m3u8文件和ts文件不在同一个网址下，但是这样无聊的人估计很稀少。。。）程序具有加载进度条，可以看到下载的进程。
python爬虫项目——自动批量抓取m3u8网页视频
10-14
自动抓取网页视频，批量下载m3u8视频ts文件，并自动合成一个MP4格式视频文件
python实现m3u8格式转换为mp4视频格式
09-20
主要为大家详细介绍了python实现m3u8格式转换为mp4视频格式，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
用python对m3u8格式视频解析
03-19
用python对m3u8格式视频解析
Python 下载 m3u8 视频并合成为 mp4
06-12
要下载m3u8视频并将其合成为mp4格式，可以使用Python的requests库和FFmpeg库。首先需要使用requests库下载m3u8文件，然后解析m3u8文件获取视频的分片ts文件的URL地址。接着使用FFmpeg库将ts文件合成为mp4格式。以下是一个简单的示例代码： ```python import os import requests import subprocess # 安装FFmpeg之后，在此处填写FFmpeg的路径 ffmpeg_path = "/usr/local/bin/ffmpeg" # 填写m3u8文件URL和输出mp4文件路径 m3u8_url = "https://example.com/video.m3u8" mp4_file = "output.mp4" # 下载m3u8文件 m3u8_response = requests.get(m3u8_url) m3u8_content = m3u8_response.text # 解析m3u8文件获取ts文件的URL地址 ts_urls = [] lines = m3u8_content.split("\n") for line in lines: if line.endswith(".ts"): ts_url = os.path.join(m3u8_url.rsplit("/", 1)[0], line) ts_urls.append(ts_url) # 下载ts文件并保存到本地 for i, ts_url in enumerate(ts_urls): ts_response = requests.get(ts_url) ts_file = f"{i}.ts" with open(ts_file, "wb") as f: f.write(ts_response.content) # 使用FFmpeg将ts文件合成为mp4格式 command = [ffmpeg_path, "-i", "concat:" + "|".join(ts_files), "-c", "copy", mp4_file] subprocess.call(command) # 删除临时的ts文件 for ts_file in ts_files: os.remove(ts_file) ``` 以上代码中，我们使用requests库下载m3u8文件，并解析出其中的ts文件URL地址。然后使用requests库下载每个ts文件并保存到本地，最后使用FFmpeg库将所有ts文件合成为mp4格式。合成完成后，输出文件会保存在指定的mp4文件路径下。注意，我们需要先将所有ts文件保存到本地，然后再使用FFmpeg将其合成为mp4格式，最后再删除临时的ts文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值