爬虫-处理m3u8文件

通常爬的都是MP4，今天来弄一下m3u8。

因网站的特殊性，我这里没有提供源网站，m3u8文件还请自寻测试

m3u8文件分析

通常，我们可以得到index.m3u8这样一个文件

这里，我们关注这几个：

#EXT-X-KEY:MEOD=AES-128,URI="",IV=

有这个代表你的m3u8视频文件是加密的，需要做解密处，这个IV的值可以理解为视频文件偏移量，通常不作处理

#EXTINF：4.005333，

这里可以理解为每隔多少时间加载xxx.ts文件

操作思路

1. m3u8类型的视频是碎片化的，通常都是以.ts结尾的，且有序的

2. 获取m3u8文件。如果有获取链接，类似于 https://example.com/index.m3u8

3. 获取每一个.ts文件。下载ts文件方式与b步骤类似，拼接ts的下载链接即可，如:https://example.com/XXXX.ts

4. 如果视频是加密的，还需要下载key，这里的key就是URI="key",表现形式通常有 "xxxx.ts",

5. "https://example.com/xxxkey=xxxx",没有完整链接仍需要拼接url进行下载

6. 将下载的m3u8文件，ts文件，key文件，都放在同一个文件夹

7. 合并ts文件转成MP4

思路处理

注：本人所使用时的网站没有反爬机制，若下载不成功可以自己添加请求头headers

获取m3u8文件（也可读取本地，但需要知道下载链接）

def download_ts(m3u8_file, load_heder, save_path):
    msu8 = open(m3u8_file, "r", encoding="utf-8").read()
    ts_list = msu8.split("\n")
    ts_url_list = []
    for i in ts_list:
        if i.endswith(".ts"):
            ts_url = load_heder + i.strip("\n")
            ts_url_list.append(ts_url)
    for item in ts_url_list:
        ts_file = requests.get(item, stream=True).content
        time.sleep(3)
        with open(f"{save_path}/{item.split('/')[-1]}", "wb") as fp:
            time.sleep(1)
            fp.write(ts_file)
            print(f"下载 {item.split('/')[-1]} 完成")

参数说明：msu8_file:即你的m3u8文件位置

load_header:下载m3u8文件的url的前缀，如https://xxxxx.com/xxxx/xxx/xxx/index.m3u8的下载前缀是https://xxxxx.com/xxxx/xxx/xxx/

save_path:下载保存的ts文件路径

其实使用多线程下载会更好，我这就不过多赘述了，只是提供一下思路

如果是加密了的视频,就下载key文件，如果未加密，就跳过这个步骤

def download_key(m3u8file, loadheader):
    read_data = open(f"{m3u8file}", "r", encoding="utf-8").read()
    patt = 'URI="(.*?)"'
    load_url = loadheader + re.findall(patt, read_data, re.S)[0]
    key_response = requests.get(url=load_url).content
    with open(f"{m3u8file}", "wb") as sp:
        sp.write(key_response)
    print("秘钥下载完成")

调用演示：

合并ts文件

合并方式可以看这个博客：https://www.51cto.com/article/721571.html

说一下容易合并失败的几个地方：

1. key失效。秘钥内容会更新（间隔多久没去研究过），所以如果步骤都正确之后还不能合并成功的话，就需要手动重新下载一下这个秘钥，替换之前存在的秘钥

然后再去使用对应的合并命令

2. 保存的路径不得出现中文字符，合并工具会无法识别。