python利用线程池多线程下载ts并合并

木更的爱念

已于 2023-06-14 01:15:56 修改

阅读量1.1k

点赞数

文章标签： python ffmpeg 开发语言

于 2023-04-30 02:03:34 首次发布

本文链接：https://blog.csdn.net/m0_59522760/article/details/130445697

版权

ts文件是一段一段的切片视频我们需要把他们下载好用ffmpeg合并，这样合并的视频比直接拼接的视频流畅没那么卡顿。

import os
import urllib.request
from concurrent.futures import ThreadPoolExecutor
import time


# 下载文件函数
def Down_file(download, file_name):
	urllib.request.urlretrieve(download, file_name)


# 保存txt文件
def Save_file_list(root_dir, root_dir_1, file_list):
	with open(root_dir_1 + 'ts_list.txt', 'w', encoding='utf-8') as F:  # 指定保存txt文件的地址
		for file in range(len(file_list)):
			F.write(fr'file {root_dir}{file}.ts')  # 把所有ts名称写如txt文件 格式：file '***.ts'
			F.write('\n')


A = 9
start_time = time.time()
M3u8_file = f'./流媒体/{A}/m3u8.txt'
Tss_file = f'./流媒体/{A}/contents_ts/'
Root_dir = fr"D:/pycharmScript/合并ts流媒体/Project_1/流媒体/{A}/contents_ts/"
Root_dir_1 = f'./流媒体/{A}/'
# 多线程
with open(M3u8_file) as f:
	# 下载列表
	download_list = f.readlines()
# 保存的文件列表
file_name_list = [Tss_file + str(i) + '.ts' for i in range(len(download_list))]
Save_file_list(Root_dir, Root_dir_1, file_name_list)
# 线程池的创立
flag = True
download_flag = True
if flag:
	# 开设线程多少
	task_list = []
	n_threads = 50  # 越大越快？
	with ThreadPoolExecutor(max_workers=n_threads) as pool:
		for i in range(len(download_list)):
			task_list.append(pool.submit(Down_file, download_list[i], file_name_list[i]))
		# 判断所有下载线程是否全部结束
		first_time = time.time()
		flag_time = time.time()
		flag_A = len(task_list)
		while download_flag:
			second_time = time.time()
			if len(task_list) == 0:
				print('下载完成！正在转码保存')
				break
			for i in task_list:
				if i.done():
					task_list.remove(i)
			second_time = time.time()
			if second_time - first_time > 1:
				j = 100*(len(download_list) - len(task_list)) / len(download_list)
				print(str(j)+"%")
				first_time = second_time
			if second_time - flag_time > 30:
				flag_time = second_time
				if flag_A == len(task_list):
					download_flag = False
					print('结束')
					pool.shutdown(wait=False)
				else:
					flag_A = len(task_list)
if download_flag:
	# 合并保存
	tss_list_file = fr' D:\pycharmScript\合并ts流媒体\Project_1\流媒体\{A}\ts_list.txt'
	concat_mp4 = fr' D:\pycharmScript\合并ts流媒体\Project_1\流媒体\{A}\concat.mp4'
	cmd_code = f'ffmpeg -f concat -safe 0 -y -i {tss_list_file} -c copy -strict -2 {concat_mp4}'
	os.system(cmd_code)
	end_time = time.time()
	print(f'结束，运行时间为{end_time - start_time}s')
else:
	print('下载失败')

文件目录可以自己改，主要是用了个视频下载插件

这个插件可以直接提取m3u8文件省去判断的步骤。

对于加密的ts文件，这个程序并没有完善。#这个问题在后续改进中已经基本解决了

运行前目录：

需要通过插件把视频的m3u8文件移动过来。注意这边通过插件获得的m3u8文件是一行一行的ts文件的下载地址所以直接用

urllib.request.urlretrieve(download, file_name)

下载就行了

运行后目录：

concat.mp4就是生成的视频

#---------------------------------------------------------------------------------

后面有改进了一版本更加合理

import os
import requests
from concurrent.futures import ThreadPoolExecutor
import time


def Download_file(url, file_name):
	global download_flag
	global download_files_Timeout
	global download_files_Exception
	try:
		# 使用requests库下载TS文件
		response = requests.get(url, stream=True, timeout=100, )
		# 将文件保存到本地
		with open(file_name, 'wb') as F:
			F.write(response.content)
		# print(f'{url}下载完成')
	except requests.exceptions.Timeout:
		download_files_Timeout.append(url)
		download_flag = False
	except Exception as e:
		download_flag = False
		print(e)
		download_files_Exception.append(url)


# 保存txt文件
def Save_file_list(root_dir, root_dir_1, file_list):
	with open(root_dir_1 + 'ts_list.txt', 'w', encoding='utf-8') as F:  # 指定保存txt文件的地址
		for file in range(len(file_list)):
			F.write(fr'file {root_dir}{file}.ts')  # 把所有ts名称写如txt文件 格式：file '***.ts'
			F.write('\n')


A = 4
start_time = time.time()
M3u8_file = f'./流媒体/{A}/m3u8.txt'
Tss_file = f'./流媒体/{A}/contents_ts/'
Root_dir = fr"D:/pycharmScript/合并ts流媒体/Project_1/流媒体/{A}/contents_ts/"
Root_dir_1 = f'./流媒体/{A}/'
# 读取m3u8
with open(M3u8_file) as f:
	# 下载列表f.readlines()会读到换行符要用strip删掉
	download_list = [i.strip() for i in f.readlines()]
	print(f'共有{len(download_list)}个文件')
# 保存的文件列表
file_name_list = [Tss_file + str(i) + '.ts' for i in range(len(download_list))]
Save_file_list(Root_dir, Root_dir_1, file_name_list)
# 线程池的创立
flag = True
download_flag = False
download_files_Timeout = []
download_files_Exception = []

if flag:
	# 开设线程多少
	task_list = []
	n_threads = 50  # 越大越快？
	with ThreadPoolExecutor(max_workers=n_threads) as pool:
		for i in range(len(download_list)):
			task_list.append(pool.submit(Download_file, download_list[i], file_name_list[i]))
		# 判断所有下载线程是否全部结束
		first_time = time.time()
		flag_time = time.time()
		flag_A = len(task_list)
		while True:
			second_time = time.time()
			if len(task_list) == 0:
				print('下载完成！正在转码保存')
				break
			for i in task_list:
				if i.done():
					task_list.remove(i)
			second_time = time.time()
			if second_time - first_time > 1:
				j = 100 * (len(download_list) - len(task_list)) / len(download_list)
				print(str(j) + "%")
				first_time = second_time

if download_flag:
	# 合并保存
	tss_list_file = fr' D:\pycharmScript\合并ts流媒体\Project_1\流媒体\{A}\ts_list.txt'
	concat_mp4 = fr' D:\pycharmScript\合并ts流媒体\Project_1\流媒体\{A}\concat.mp4'
	cmd_code = f'ffmpeg -f concat -safe 0 -y -i {tss_list_file} -c copy -strict -2 {concat_mp4}'
	os.system(cmd_code)
	end_time = time.time()
	print(f'结束，运行时间为{end_time - start_time}s')
else:
	print('转换失败')
	print(f'下载超时：{download_files_Timeout}\n下载失败：{download_files_Exception}')

#####################23年6月3日###########################

#######这次把一些加密的ts给搞定了

import os
import requests
from Crypto.Cipher import AES
from concurrent.futures import ThreadPoolExecutor
import time


def Download_file(url, file_name):
    global download_flag
    global download_files_Timeout
    global download_files_Exception
    global key
    try:
        # 使用requests库下载TS文件
        response = requests.get(url, stream=True, timeout=100, )
        cipher = AES.new(key, AES.MODE_CBC, response.content[:16])
        decrypted_content = cipher.decrypt(response.content[16:])

        # 将文件保存到本地
        with open(file_name, 'wb') as F:
            F.write(decrypted_content)
    # print(f'{url}下载完成')
    except requests.exceptions.Timeout:
        download_files_Timeout.append(url)
        download_flag = False
    except Exception as e:
        download_flag = False
        print(e)
        download_files_Exception.append(url)


# 保存txt文件
def Save_file_list(root_dir, root_dir_1, file_list):
    with open(root_dir_1 + 'ts_list.txt', 'w', encoding='utf-8') as F:  # 指定保存txt文件的地址
        for file in range(len(file_list)):
            F.write(fr'file {root_dir}{file}.ts')  # 把所有ts名称写如txt文件 格式：file '***.ts'
            F.write('\n')


def create_makedirs(A):
    current_dir = os.getcwd()
    # 创建相对路径
    relative_path = os.path.join(current_dir, fr'有加密解包测试\{A}\contents_ts')
    # 创建文件夹
    if not os.path.exists(relative_path):
        os.makedirs(relative_path)
        print('第一次创建目录')


start_time = time.time()

A = 1
M3u8_file = f'./有加密解包测试/{A}/m3u8.txt'
Tss_file = f'./有加密解包测试/{A}/contents_ts/'
Root_dir = fr"D:/pycharmScript/合并ts流媒体/Project_1/有加密解包测试/{A}/contents_ts/"
Root_dir_1 = f'./有加密解包测试/{A}/'
# 创建文件夹
create_makedirs(A)
# 打开M3U8文件并复制加密密钥的URL
Basic_website = 'https://exmple.com'
m3u8_url = Basic_website + '/xxxx/500kb/hls/index.m3u8'
key_url = Basic_website + '/xxxx/500kb/hls/key.key'

# key=dd3d3eeacfbebab9
# 获取加密密钥
response = requests.get(key_url)
key = response.content
print(type(key))
# 获取M3U8文件内容
response = requests.get(m3u8_url)
m3u8_content = response.content.decode('utf-8')
# 取得每个文件的url
lines = m3u8_content.split('\n')
download_list = [Basic_website + line for line in lines if line.endswith('.ts')]
num_files = len(download_list)
print(f'共有{num_files}文件')

# 保存的文件列表
file_name_list = [Tss_file + str(i) + '.ts' for i in range(len(download_list))]
Save_file_list(Root_dir, Root_dir_1, file_name_list)

# 线程池的创立
flag = True
download_flag = True
download_files_Timeout = []
download_files_Exception = []

if flag:
    # 开设线程多少
    task_list = []
    n_threads = 50  # 越大越快？
    with ThreadPoolExecutor(max_workers=n_threads) as pool:
        for i in range(num_files):
            task_list.append(pool.submit(Download_file, download_list[i], file_name_list[i]))
        # 判断所有下载线程是否全部结束
        first_time = time.time()
        flag_time = time.time()
        while True:
            second_time = time.time()
            if len(task_list) == 0:
                print('下载完成！正在转码保存')
                break
            for i in task_list:
                if i.done():
                    task_list.remove(i)
            second_time = time.time()
            if second_time - first_time > 1:
                j = 100 * (len(download_list) - len(task_list)) / len(download_list)
                print(str(j) + "%")
                first_time = second_time

if download_flag:
    # 合并保存
    tss_list_file = fr' D:\pycharmScript\合并ts流媒体\Project_1\有加密解包测试\{A}\ts_list.txt'
    concat_mp4 = fr' D:\pycharmScript\合并ts流媒体\Project_1\有加密解包测试\{A}\concat.mp4'
    cmd_code = f'ffmpeg -f concat -safe 0 -y -i {tss_list_file} -c copy -strict -2 {concat_mp4}'
    os.system(cmd_code)
    end_time = time.time()
    print(f'结束，运行时间为{end_time - start_time}s')
else:
    print('转换失败')
    print(f'下载超时：{download_files_Timeout}\n下载失败：{download_files_Exception}')

# 解密每个片段的内容
# for line in lines:
#     if line.endswith('.ts'):
#         segment_url = line
#         segment_url = Basic_website + segment_url
#         print(segment_url)
#         response = requests.get(segment_url)
#         cipher = AES.new(key, AES.MODE_CBC, response.content[:16])
#         decrypted_content = cipher.decrypt(response.content[16:])
#
#         # 保存解密后的内容到本地文件
#         with open(segment_url.split('/')[-1], 'wb') as f:
#             f.write(decrypted_content)
#
# # 1. `AES.new(key, AES.MODE_CBC, iv)`：创建一个新的AES加密器对象，其中`key`是加密密钥，`AES.MODE_CBC`是加密模式（这里使用的是CBC模式），`iv`是初始化向量。
# 2. `response.content[:16]`：获取响应内容的前16个字节作为初始化向量（IV）。
# 3. `cipher.decrypt(response.content[16:])`：使用AES加密器对象`cipher`解密响应内容的剩余部分，即从第16个字节开始到文件末尾的内容。解密后的内容将被存储在变量`decrypted_content`中。

############20230614###########

后续就考虑把这个封装成一个类好移植一些。不过好像也没有这个必要，毕竟就是写着玩的脚本。还有就是一些代码的结构还可以优化让速度更快一点。值得一提的是，python里面的多线程应该不是真正的多线程。线程池里面最多开50个确实是比10个快，应该与线程池和电脑操作系统的管理有关。

至于那些文件路径就靠cv过去小改一下就行了吧。文件路径要注意绝对路径和相对路径，还有ffmeng指令是用的os里面命令类似Windows下控制台cmd里输入。没装这个软件的可以搜搜其他大佬的博客，关键一点就是设置好环境变量基本就可以使用了。

或者也可以把那个if后面的flag置0，用二进制文件写入的方法合并视频，就是这样合并出来的视频可能有些地方会有点卡顿。

还有就是关于加密m3u8的下载，其实关键是找到m3u8文件和key文件。至于怎么找到，因为博主本身对前端东西了解不是特别多，只能说用浏览器插件，或者按f12打开调试窗口看网络请求，找到key文件和m3u8文件。一般视频网站的加密方法就类似上面写的，更高级的就是把key文件再进行了一次加密，这里面套路就不研究了。

木更的爱念

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
python利用线程池多线程下载ts并合并

需要通过插件把视频的m3u8文件移动过来。注意这边通过插件获得的m3u8文件是一行一行的ts文件的下载地址所以直接用。ts文件是一段一段的切片视频我们需要把他们下载好用ffmpeg合并，这样合并的视频比直接拼接的视频流畅没那么卡顿。这个插件可以直接提取m3u8文件省去判断的步骤。文件目录可以自己改，主要是用了个视频下载插件。对于加密的ts文件，这个程序并没有完善。concat.mp4就是生成的视频。
复制链接

扫一扫