python 实现多线程下载m3u8格式视频,使用FFmpeg合并

如果你需要下载的m3u8文件被加密

请移步:https://blog.csdn.net/s_kangkang_A/article/details/103163073

 

电影之类的长视频好像都用m3u8格式了,这就导致了多线程下载视频的意义不是很大,都是短视频,线不线程就没什么意义了嘛。

我们知道,m3u8的链接会下载一个文档,相当长,半小时的视频,应该有接近千行ts链接。

这些ts链接下载成ts文件,就是碎片化的视频,加以合并,就成了需要的视频。

那,即便网速很快,下几千行视频,效率也就低了,更何况还要合并。我就琢磨了一下午,怎么样才能多线程下载m3u8格式的视频呢?

先上代码,再说重难点:

import datetime
import os
import re
import threading
import requests
from queue import Queue


# 预下载,获取m3u8文件,读出ts链接,并写入文档
def down():
    # m3u8链接
    url = 'https://ali-video.acfun.cn/mediacloud/acfun/acfun_video/segment/3zf_GAW6nFMuDXrTLL89OZYOZ4mwxGoASH6UcZbsj1_6eAxUxtp3xm8wFmGMNOnZ.m3u8?auth_key=1573739375-474267152-0-a5aa2b6df4cb4168381bf8b04d88ddb1'
    # 当ts文件链接不完整时,需拼凑
    # 大部分网站可使用该方法拼接,部分特殊网站需单独拼接
    base_url = re.split(r"[a-zA-Z0-9-_\.]+\.m3u8", url)[0]
    # print(base_url)
    resp = requests.get(url)
    m3u8_text = resp.text
    # print(m3u8_text)
    # 按行拆分m3u8文档
    ts_queue = Queue(10000)
    lines = m3u8_text.split('\n')
    # 找到文档中含有ts字段的行
    concatfile = 'cache/' + "s" + '.txt'
    for line in lines:
        if '.ts' in line:
            if 'http' in line:
                # print("ts>>", line)
                ts_queue.put(line)
            else:
                line = base_url + line
                ts_queue.put(line)
                # print('ts>>',line)
            filename = re.search('([a-zA-Z0-9-]+.ts)', line).group(1).strip()
            # 一定要先写文件,因为线程的下载是无序的,文件无法按照
            # 123456。。。去顺序排序,而文件中的命名也无法保证是按顺序的
            # 这会导致下载的ts文件无序,合并时,就会顺序错误,导致视频有问题。
            open(concatfile, 'a+').write("file %s\n" % filename)
    return ts_queue,concatfile


# 线程模式,执行线程下载

def run(ts_queue):
    tt_name = threading.current_thread().getName()
    while not ts_queue.empty():
        url = ts_queue.get()
        r = requests.get(url, stream=True)
        filename = re.search('([a-zA-Z0-9-]+.ts)', url).group(1).strip()
        with open('cache/' + filename, 'wb') as fp:
            for chunk in r.iter_content(5242):
                if chunk:
                    fp.write(chunk)
        print(tt_name + " " + filename + ' 下载成功')


# 视频合并方法,使用ffmpeg
def merge(concatfile, name):
    try:
        path = 'cache/' + name + '.mp4'
        command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)
        os.system(command)
        print('视频合并完成')
    except:
        print('合并失败')


if __name__ == '__main__':
    name = input('请输入视频名称:')
    start = datetime.datetime.now().replace(microsecond=0)
    s,concatfile = down()
    # print(s,concatfile)
    threads = []
    for i in range(15):
        t = threading.Thread(target=run, name='th-'+str(i), kwargs={'ts_queue': s})
        threads.append(t)
    for t in threads:
        t.start()
    for t in threads:
        t.join()
    end = datetime.datetime.now().replace(microsecond=0)
    print('下载耗时:' + str(end - start))
    merge(concatfile,name)
    over = datetime.datetime.now().replace(microsecond=0)
    print('合并耗时:' + str(over - end))

效果图:

代码开始:自己输入视频名称(也可以去原网站爬名称)

查看下载耗时,ffmpeg开始合并:

合并耗时:

7分多钟,90个ts文件,接近40MB。两秒下载完成。

更大的文件,开更多的线程。

然后我们画画重难点:

第一:ts文件命名问题。

我们知道,每一个线程启动,除了队列不会重复,那么代码里都会重新跑(线程里的代码),那么,1.ts,2.ts....这种命名是不可能的了,文件会被覆盖。命名我使用了ts链接中的部分链接。

第二:合并问题。

文件的合并是根据文档内的顺序,也就是,如果边下载边合并,那么,线程的无序性导致下载无序,文件写入也就无序化了,合并时,时间线会错误,合出来的视频就无法看。因此,文件要提前写好才行,这和命名有很大的关联,看代码即知。

第三:有的m3u8是特殊处理的,代码具有一定的局限性。

写的时候挺难的,脑子都乱了,就这些吧,记录一下。

对了,贴一下下载的图:90个ts文件,一个mp4文件,一个文档。

 

—————2019/11/18更新——————

更新点细节和后续处理。

今天找了个m3u8文件的电影链接,银河补习班,用代码测试,遇到了报错,等会放到我的报错指南里。

然后,解决了报错,下载很快,一个1.72G的电影,一分钟左右下载完成(线程数50)

但是,合并合一个小时???what f**k!!!

更新一下新的合并方法,顺便把下载的两千多个ts删除,简化文件夹:

import datetime
import os
import re
import threading
import requests
from queue import Queue


# 预下载,获取m3u8文件,读出ts链接,并写入文档
def down(headers):
    url = 'https://www.mmicloud.com:65/ppvod/PkOhYba8'
    # 当ts文件链接不完整时,需拼凑
    # 大部分网站可使用该方法拼接,部分特殊网站需单独拼接
    # base_url = re.split(r"[a-zA-Z0-9-_\.]+\.m3u8", url)[0]
    base_url = 'https://www.mmicloud.com:65'
    print(base_url)
    resp = requests.get(url,headers=headers)
    m3u8_text = resp.text
    print(m3u8_text)
    # 按行拆分m3u8文档
    ts_queue = Queue(10000)
    lines = m3u8_text.split('\n')
    # 找到文档中含有ts字段的行
    concatfile = 'cache/' + "s" + '.txt'
    for line in lines:
        if '.ts' in line:
            if 'http' in line:
                # print("ts>>", line)
                ts_queue.put(line)
            else:
                line = base_url + line
                ts_queue.put(line)
                # print('ts>>',line)
            filename = re.search('([a-zA-Z0-9-_]+.ts)', line).group(1).strip()
            # 一定要先写文件,因为线程的下载是无序的,文件无法按照
            # 123456。。。去顺序排序,而文件中的命名也无法保证是按顺序的
            # 这会导致下载的ts文件无序,合并时,就会顺序错误,导致视频有问题。
            open(concatfile, 'a+').write("file %s\n" % filename)
    return ts_queue,concatfile


# 线程模式,执行线程下载
def run(ts_queue, headers):
    tt_name = threading.current_thread().getName()
    while not ts_queue.empty():
        url = ts_queue.get()
        r = requests.get(url, stream=True, headers = headers)
        filename = re.search('([a-zA-Z0-9-_]+.ts)', url).group(1).strip()
        with open('cache/' + filename, 'wb') as fp:
            for chunk in r.iter_content(5242):
                if chunk:
                    fp.write(chunk)
        print(tt_name + " " + filename + ' 下载成功')


# 视频合并方法,使用ffmpeg
def merge(concatfile, name):
    try:
        path = 'cache/' + name + '.mp4'
        # command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)
        command = 'ffmpeg -y -f concat -i %s -bsf:a aac_adtstoasc -c copy %s' % (concatfile, path)
        os.system(command)
        print('视频合并完成')
    except:
        print('合并失败')


def remove():
    dir = 'cache/'
    for line in open('cache/s.txt'):
        line = re.search('file (.*?ts)',line).group(1).strip()
        # print(line)
        os.remove(dir + line)
    print("删除成功")


if __name__ == '__main__':
    name = input('请输入视频名称:')
    headers = {
        'Accept': '*/*',
        'Accept-Encoding': 'gzip,deflate,br',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'Connection': 'keep-alive',
        'Host': 'www.mmicloud.com:65',
        'Origin': 'https://jx.123ku.com',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'cross-site',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36 Maxthon/5.1.3.2000'
    }
    start = datetime.datetime.now().replace(microsecond=0)
    s,concatfile = down(headers)
    # 获取队列元素数量
    num = s.qsize()
    # 根据数量来开线程数,每五个元素一个线程
    if num > 5:
        t_num = num // 5
    else:
        t_num = 1
    if t_num > 50:
        t_num = 50
    # print(s,concatfile)
    threads = []
    for i in range(t_num):
        t = threading.Thread(target=run, name='th-'+str(i), kwargs={'ts_queue': s,'headers': headers})
        t.setDaemon(True)
        threads.append(t)
    for t in threads:
        t.start()
    for t in threads:
        t.join()
    end = datetime.datetime.now().replace(microsecond=0)
    print('下载耗时:' + str(end - start))
    merge(concatfile,name)
    over = datetime.datetime.now().replace(microsecond=0)
    print('合并耗时:' + str(over - end))
    remove()

合并改了命令,效率贼快,下载加合并接近4分钟:

代码开始:

下载开始到结束:

合并开始及结束:

文件夹:所有ts文件已被删除:

txt:部分截图:视频详情

另外,文中的链接具有时效性,一会就会失效。

————————19日更新——————

在更新一点小东西,可以直接用这个新版,前面不用看

import datetime
import os
import re
import threading
import time
import requests
from queue import Queue


# 预下载,获取m3u8文件,读出ts链接,并写入文档
def down(headers, url, base_url):
    # 当ts文件链接不完整时,需拼凑
    resp = requests.get(url, headers=headers)
    m3u8_text = resp.text
    # print(m3u8_text)
    # 按行拆分m3u8文档
    ts_queue = Queue(10000)
    lines = m3u8_text.split('\n')
    s = len(lines)
    # 找到文档中含有ts字段的行
    concatfile = 'cache/' + "s" + '.txt'
    for i,line in enumerate(lines):
        if '.ts' in line:
            if 'http' in line:
                # print("ts>>", line)
                ts_queue.put(line)
            else:
                line = base_url + line
                ts_queue.put(line)
                # print('ts>>',line)
            filename = re.search('([a-zA-Z0-9-_]+.ts)', line).group(1).strip()
            # 一定要先写文件,因为线程的下载是无序的,文件无法按照
            # 123456。。。去顺序排序,而文件中的命名也无法保证是按顺序的
            # 这会导致下载的ts文件无序,合并时,就会顺序错误,导致视频有问题。
            open(concatfile, 'a+').write("file %s\n" % filename)
            print("\r", '文件写入中', i, "/", s, end="", flush=True)
    return ts_queue, concatfile


# 线程模式,执行线程下载
def run(ts_queue, headers):
    while not ts_queue.empty():
        url = ts_queue.get()
        filename = re.search('([a-zA-Z0-9-_]+.ts)', url).group(1).strip()
        try:
            requests.packages.urllib3.disable_warnings()
            r = requests.get(url, stream=True, headers=headers, verify=False)
            with open('cache/' + filename, 'wb') as fp:
                for chunk in r.iter_content(5242):
                    if chunk:
                        fp.write(chunk)
            print("\r", '任务文件 ', filename, ' 下载成功', end="", flush=True)
        except:
            print( '任务文件 ', filename, ' 下载失败')
            ts_queue.put(url)


# 视频合并方法,使用ffmpeg
def merge(concatfile, name):
    try:
        path = 'cache/' + name + '.mp4'
        # command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)
        command = 'ffmpeg -y -f concat -i %s -bsf:a aac_adtstoasc -c copy %s' % (concatfile, path)
        os.system(command)
        print('视频合并完成')
    except:
        print('合并失败')


def remove():
    dir = 'cache/'
    for line in open('cache/s.txt'):
        line = re.search('file (.*?ts)', line).group(1).strip()
        # print(line)
        os.remove(dir + line)
    print("ts文件全部删除")
    try:
        os.remove('cache/s.txt')
        print('文件删除成功')
    except:
        print('文件删除失败')


if __name__ == '__main__':
    name = input('请输入视频名称:')
    url = input('请输入视频链接:').strip()
    # 测试用链接:https://yiyi.55zuiday.com/ppvod/70B5A6E3A150A99882E28EC793CAF519.m3u8 
    # 链接电影:地球最后的夜晚
    base_url = 'https://yiyi.55zuiday.com/'
    headers = {
        'referer': 'https://yiyi.55zuiday.com/share/wVuAcJFy1tMy4t0x',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
    }
    start = datetime.datetime.now().replace(microsecond=0)
    print("文件开始写入")
    s, concatfile = down(headers, url, base_url)
    print('\n')
    print("文件写入结束")
    # 获取队列元素数量
    num = s.qsize()
    # 根据数量来开线程数,每五个元素一个线程
    # 最大开到50个
    print("下载任务开始")
    if num > 5:
        t_num = num // 5
    else:
        t_num = 1
    if t_num > 50:
        t_num = 50
    # print(s,concatfile)
    threads = []
    for i in range(t_num):
        t = threading.Thread(target=run, name='th-' + str(i), kwargs={'ts_queue': s, 'headers': headers})
        t.setDaemon(True)
        threads.append(t)
    for t in threads:
        time.sleep(0.4)
        t.start()
    for t in threads:
        t.join()
    print('\n')
    print("下载任务结束")
    end = datetime.datetime.now().replace(microsecond=0)
    print('写文件及下载耗时:' + str(end - start))
    merge(concatfile, name)
    remove()
    over = datetime.datetime.now().replace(microsecond=0)
    print('合并及删除文件耗时:' + str(over - end))
    print("所有任务结束")
    print('任务总时长:', over - start)

更新为覆盖打印,避免打印几千行,太麻烦,写文件和下载都有进度了

下载错误还可以看错误打印信息,正确直接下载覆盖

清晰明了看见代码运行进度。

然后就算根据需要改三个东西,就可以使用代码

1,电影m3u8链接

2,m3u8文件中如ts链接无前面http部分,需自己更改base_url

3,更改headers信息

效果如图:

爬虫开始及文件写入:

下载开始,下载与写文件耗时:

说明:文件写入的数字是一直在变化的,用以进度观察。任务文件也是。

结束:

文件夹:

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页