Python M3U8文件解析

已于 2024-02-06 12:31:45 修改
阅读量519 收藏 7
点赞数 4
文章标签： python
于 2024-02-06 12:22:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53706090/article/details/136054801
版权 
# coding: UTF-8
# FileName: m3u8.py
# Time: 06/02/2024 12:29
# Author: Amundsen Severus Rubeus Bjaaland


# 导入标准库
import re
import os
import json
import copy
import shutil
from threading import Thread
from urllib.parse import urljoin
from typing import List, Union, Callable, Iterator
from concurrent.futures import ThreadPoolExecutor, wait


# 导入第三方库
import requests
from Crypto.Cipher import AES
from Crypto.Util.number import bytes_to_long, long_to_bytes


# 定义常量
URL_PATH_PATTERN = re.compile(r'^(/.*?)*?(/[^"]*/|/[^"]*)$')
PATH_DATA_DIR = os.path.join(os.getcwd(), "data")
PATH_CACHE_DIR = os.path.join(PATH_DATA_DIR, "cache")
PATH_TS_VIDEOS_DIR = os.path.join(PATH_DATA_DIR, "ts_videos")
class DownloadMode(object):
	ONE_THREAD = ("One_Thread", 1)
	MULTITHREAD = ("multithread", 2)

# 定义异常
class AnalyzeError(Exception): pass
class M3U8AnalyzeError(AnalyzeError): pass
class M3UAnalyzeError(AnalyzeError): pass
class NetworkError(Exception): pass


# 创建运行时必要的文件夹
try: os.mkdir("./data")
except OSError: pass
try: os.mkdir("./data/ts_videos")
except OSError: pass
try: os.mkdir("./data/cache")
except OSError: pass


class M3U8(object):
	# M3U8文件的元信息Tag的正则表达式，用于提取文件元信息
	__INFO_TAG_PATTERN = re.compile(r"^#EXT-X-(.*?):(.*)$")

	class TsTag(object):
		def __init__(self, index: int, name: str, source: str, length: float):
			"""M3U8文件中视频片段信息
			:param index: 视频文件的序号
			:param name: 视频文件的名称
			:param source: 视频文件的网址
			:param length: 视频文件的时长
			"""
			self.index = index
			self.name = name
			self.source = source
			self.length = length
		
		def __repr__(self) -> str:
			return f"<TsTag index={self.index} time={self.length} name={self.name[:10]}...>"
	
	def __init__(self, content: str, source: str, name:str, info: dict = {}):
		"""M3U8文件解析
		:param content: 原始文件内容
		:param source: 文件来源，获取视频片段地址时使用
		:param name: 视频名称，保存文件时使用
		:param info: 视频除文件内已有信息的额外信息
		"""
		# 处理并存储所有参数
		self.__content: str = content.rstrip("\n")
		self.__source: str = source
		self.__name: str = name.replace("\\", "").replace("/", "")
		self.__info: dict = copy.deepcopy(info)  # 防止类变量与外部变量共用同一地址
		# 其它要用到的参数
		self.__key: bytes = b""  # 视频片段密码，用于AES解密
		self.__ts_tag_list: List[self.TsTag] = []  # 视频片段信息地址
		# 解析文件
		self.__analyze()
	
	def __str__(self) -> str: return self.__content

	def __repr__(self) -> str: return f"<M3U8 name={self.__name[:10]}>"

	@property
	def source(self) -> str: return self.__source

	@property
	def name(self) -> str: return self.__name

	@property
	def info(self) -> dict: return copy.deepcopy(self.__info)

	@property
	def ts_tags(self) -> Iterator[TsTag]:
		for i in self.__ts_tag_list: yield copy.deepcopy(i)

	@staticmethod
	def _log(ts_info: TsTag, flag: bool, part_number: int) -> None:
		"""指示下载情况的回调函数，该函数应支持多线程
		:param ts_info: 视频片段的信息
		:param flag: 下载成功与否
		:param part_number: 视频片段的总数
		"""
		print(
			f"视频({ts_info.name})的第{ts_info.index + 1}个片段(共{part_number}个片段)"
			f"下载{'成功' if flag else '失败'}, 时长为{ts_info.length}秒.\n",
			end=""
		)

	def __analyze_ht(self) -> None:
		"""判断文件开头结尾是否符合标准"""
		if not self.__content.startswith("#EXTM3U"):
			raise M3U8AnalyzeError("文件开头不为\"#EXTM3U\"")
		if not self.__content.endswith("#EXT-X-ENDLIST"):
			raise M3U8AnalyzeError("文件结尾不为\"#EXT-X-ENDLIST\"")
	
	def __analyze_key(self, match_result: re.Match) -> None:
		"""解析文件加密相关信息
		:param match_result: 信息名为KEY的信息的匹配结果
		"""
		# 获取信息的字符串
		text = match_result.group(2)
		# 将信息字符串转换为Json格式
		text = text.replace(" ", "").replace('"', '').replace("=", '":"').replace(",", '","')
		text = "{\"" + text + "\"}"
		# 将信息字符串解析为Json(Dict)
		info = json.loads(text)
		# 获取加密中的偏移相关信息
		iv = info["IV"]
		# # 将iv按照UTF-8编码，然后转换为int
		iv = bytes_to_long(iv.encode())
		# # 将int转换为bytes，并截取前16位(去除0x以后共32位)后作为iv信息真实值
		info["IV"] = long_to_bytes(iv)[2:18]
		# 将所有key相关信息保存
		self.__info[match_result.group(1)] = info
		# 获取文件的key
		url = urljoin(self.__source, info["URI"])
		try: self.__key = requests.get(url).content
		except Exception: raise NetworkError("获取文件的key失败")			
	
	def __analyze(self) -> None:
		"""解析M3U8文件"""
		# 判断文件开头结尾是否符合标准
		self.__analyze_ht()
		# 成功判断以后将文件按行分割，并去除开头和结尾的一行
		data = self.__content.split("\n")[1:-1]
		# 设置计数器，用于判断文件信息占据了文件多少行
		counter = 0
		# 获取文件的信息
		for one_line in data:
			# 获取文件信息
			one_info = self.__INFO_TAG_PATTERN.match(one_line)
			# 匹配失败说明信息部分已获取完毕，可以跳出循环
			if not one_info: break
			# 判断信息是否为文件的加密相关信息，
			# 若是，则需特殊处理，否则直接添加信息到类变量存储
			if one_info.group(1) == "KEY": self.__analyze_key(one_info)
			else: self.__info[one_info.group(1)] = one_info.group(2)
			#计数器加一
			counter += 1
		# 截取剩余部分，即视频片段相关信息
		data = data[counter:]
		# 判断视频片段信息是否成对存在
		if len(data) % 2 != 0: raise M3U8AnalyzeError("视频片段信息不成对存在")
		# 按步长为2遍历数据list
		for index, one_part in enumerate([data[i:i + 2] for i in range(0, len(data), 2)]):
			# 生成视频片段的地址并保存
			video_source = urljoin(self.__source, one_part[1])
			self.__ts_tag_list.append(
				self.TsTag(
					index, self.__name, video_source, float(one_part[0].split(":")[1].rstrip(","))
				)
			)
		# 将所有的信息名称转换为小写
		self.__info = {key.lower(): item for key, item in self.__info.items()}
	
	def __get_fragment(
			self, ts_info: TsTag, callback: Callable[[TsTag, bool, int], None] = _log
		) -> None:
		"""获取视频片段
		:param ts_info: 视频片段的信息
		:param callback: 指示下载情况的回调函数, 需要视频片段信息, 指示下载成功与否的布尔值和0视频片段总数
		"""
		# 合成视频片段的保存地址
		cache_path = f"{ts_info.name}\\{str(ts_info.index).rjust(10, '0')}.ts"
		cache_path = os.path.join(PATH_CACHE_DIR, cache_path)
		#尝试获取视频片段
		try: content = requests.get(ts_info.source).content
		except Exception: callback(ts_info, False, len(self.__ts_tag_list))
		else:
			# 如果视频片段有加密则解密后再保存
			if self.__info.get("key"):
				content = AES.new(
					self.__key, AES.MODE_CBC, self.__info["key"]["IV"]
				).decrypt(content)
			with open(cache_path, "wb") as ts_file: ts_file.write(content)
			callback(ts_info, True, len(self.__ts_tag_list))
	
	def __collect(self) -> None:
		"""将获取的视频片段合成为一个视频"""
		# 获取缓存的视频片段
		file_list = os.listdir(os.path.join(PATH_CACHE_DIR, self.name))
		# 将文件按index排序
		file_list = [(i, int(i.split(".")[0])) for i in file_list]
		file_list.sort(key=lambda x: x[1])
		file_list = [i[0] for  i in file_list]
		# 创建文件保存路径
		final_file_path = os.path.join(PATH_TS_VIDEOS_DIR, f"{self.__name}.ts")
		# 将片段合成为一个ts文件
		with open(final_file_path, "wb") as final_file:
			for one_file in file_list:
				ts_file_path = os.path.join(PATH_CACHE_DIR, f"{self.__name}\\{one_file}")
				with open(ts_file_path, "rb") as ts_file:
					final_file.write(ts_file.read())
		# 移除所有缓存文件
		try: shutil.rmtree(os.path.join(PATH_CACHE_DIR, self.__name))
		except OSError: pass
	
	def download(
			self, download_mode: tuple = DownloadMode.MULTITHREAD, 
			callback: Callable[[str, bool, str, int, int, str], None] = _log
		) -> None:
		"""下载视频片段
		:param download_mode: 使用的下载方式
		:param callback: 指示下载情况的回调函数
		"""
		try: os.mkdir(os.path.join(PATH_CACHE_DIR, self.__name))
		except OSError: pass
		# 匹配下载时使用的模式，未匹配到则不下载
		match download_mode:
			case DownloadMode.ONE_THREAD:
				# 逐个片段进行下载
				for one_ts in self.__ts_tag_list: self.__get_fragment(one_ts, callback)
			case DownloadMode.MULTITHREAD:
				# 启动一个线程池
				with ThreadPoolExecutor(
					thread_name_prefix=f"《{self.name[:10]} . . .》片段下载线程"
				) as pool:
					# 提交下载至线程池
					download_thread_list = [
						pool.submit(self.__get_fragment, i, callback)
						for i in self.__ts_tag_list
					]
					# 等待下载完成
					wait(download_thread_list)
			case _: return
		# 将片段合成为一个文件
		self.__collect()


class M3U8Manager(object):
	class M3U8State(object):
		def __init__(self, m3u8: M3U8, download_mode: tuple = DownloadMode.MULTITHREAD):
			"""M3U8文件的相关状态
			:param m3u8: M3U8文件信息
			:param download_mode: 使用的下载方式
			"""
			self.m3u8: M3U8 = m3u8
			self.download_mode: tuple = download_mode
			self.downloaded: bool = False  # 指示程序该次运行时是否下载过
		
		def __repr__(self) -> str: 
			return f"<M3U8State downloaded={self.downloaded} name={self.m3u8.name[:10]}...>"

	def __init__(self) -> None:
		"""管理M3U8文件"""
		self.__m3u8_list: List[self.M3U8State] = []
		self.__thread_list: List[Thread] = []

	@property
	def m3u8_list(self) -> Iterator[M3U8State]:
		for i in self.__m3u8_list: yield copy.deepcopy(i)

	@staticmethod
	def get_m3u8(source: str, name: str) -> Union[M3U8, None]:
		"""从网络上获取m3u8文件内容
		:param source: m3u8文件所在URL
		:param name: 视频名称
		"""
		try: return M3U8(requests.get(source).text, source, name)
		except Exception: return
	
	def append(self, m3u8: M3U8, download_mode: tuple = DownloadMode.MULTITHREAD) -> None:
		"""将一个m3u8文件纳入管理
		:param m3u8: m3u8文件信息
		:param download_mode: 使用的下载方式
		"""
		self.__m3u8_list.append(self.M3U8State(m3u8, download_mode))

	def download(self, index: int) -> None:
		"""下载指定的m3u8文件
		:param index: 在该m3u8管理器中文件的下标
		"""
		# 防止越界访问
		if index >= len(self.m3u8_list): return
		# 获取指定的文件并按照指定的下载方式下载
		one_m3u8_info: self.M3U8State = self.__m3u8_list[index]
		one_m3u8_info.m3u8.download(one_m3u8_info.download_mode)

	def download_all(self, downloaded: bool = False) -> None:
		"""下载所有的m3u8文件
		:param downloaded: 是否下载已经下载过的文件
		"""
		for one_m3u8_info in self.__m3u8_list:
			# 若不下载已经下载过的文件且该文件已经被下载过则跳过该文件
			if (not downloaded) and one_m3u8_info.downloaded: continue
			# 初始化并启动下载线程
			download_thread = Thread(
				target=one_m3u8_info.m3u8.download, args=(one_m3u8_info.download_mode, ),
				name = f"《{one_m3u8_info.m3u8.name[:10]} . . .》下载线程"
			)
			download_thread.start()
			# 将下载线程加入下载线程列表
			self.__thread_list.append(download_thread)
			# 将该m3u8文件标记为已下载
			one_m3u8_info.downloaded = True
	
	def join(self):
		"""等待所有的下载线程结束执行"""
		for i in self.__thread_list: i.join()
		self.__thread_list.clear()
闻人星湘
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
M3U8文件分析
shelley1902的博客
03-30 4944
最近在研究HLS协议，经常要看M3U8文件内容，所以就介绍一下里面的内容代表啥意思。
如何解析 m3u8 文件？
云雀叫了一整天
09-16 1万+
如何解析 m3u8 文件 1. AES 思路： 说个使用python解带key的M3U8的思路： 先下载KEY文件，使用这个key解密每一个ts文件，然后合并MP4。 m3u8 url:http://video1.aa/090812-124/1500kb/hls/index.m3u8 例子 from Crypto.Cipher import AES import requests uu=...
用python对m3u8格式视频解析
03-19
用python对m3u8格式视频解析
Python 实现 m3u8 视频下载
前端开发
05-30 3978
Python 实现 m3u8 视频下载
M3U8工作原理以及key解密视频流详解
最新发布
qq_36964509的博客
07-12 2426
m3u8工作原理以及使用key解密视频流
Python的m3u8模块根据给定的url解析出ts分片地址
小龙在线
06-09 1433
Python的m3u8模块是一个用于解析m3u8文件的模块，可以方便地获取m3u8文件中的各种信息，如播放列表、媒体文件地址等。m3u8模块提供了load()和loads()两个方法来加载m3u8文件，分别对应从文件和字符串中加载m3u8文件。加载后，可以通过m3u8对象的属性和方法来获取m3u8文件中的各种信息。通过m3u8模块，可以方便地解析m3u8文件中的各种信息，实现m3u8文件的自动化处理和播放。m3u8_obj.media_sequence：获取媒体文件序列号。
Python之m3u8解析下载以及ffmpeg转码的实现（附Demo）
今天是最珍贵的
11-16 4339
m3u8文件是一堆小片段的集合，将所有的小片段都保存后，在合成就等于下载完成了，m3u8有固定的格式，根据格式解析出所有小片段的url链接，有可能存在加密的情况，大部分都是AES加密，这里的办法是将加密的key与ts片段都获取保存下来，本地生成一个m3u8文件。最后使用ffmpeg直接转码为mp4 ，ffmpeg转码时会自行解密。
网络直播电视之M3U8解析篇
cnhome的专栏
06-14 2万+
原文 最近单位要进行网络直播电视的开发工作，基本上在网上找不到相应的资料。但现在网络直播做出来了，做简要的讲解希望能给后来开发者提供一定的帮助。自己写的测试工具如下：- 不论是点播还是直播，重要的部分不外乎都是数据源和数据播放两个方面。对于播放没什么特殊性，现在我针对直播的特殊地方，M3U8的解析进行说明。仅仅是个人见解。有不足的地方，望各位大牛们指出。 - 我们通过CCTV-3的网络直播地址进
【M3U8】python(流视频数据)
weixin_48321071的博客
03-15 1万+
HLS技术介绍 现在大部分视频客户端都采用HTTP Live Streaming，而不是直接播放MP4等视频文件（HLS，Apple为了提高流播效率开发的技术）。HLS技术的特点是将流媒体切分为若干【TS片段】（比如几秒一段），然后通过一个【M3U8列表文件】将这些TS片段批量下载供客户端播放器实现实时流式播放。因此，在爬取HLS的流媒体文件的思路一般是先【下载M3U8文件】并分析其中内容，然后在批量下载文件中定义的【TS片段】，最后将其【组合】成mp4文件或者直接保存TS片段。 说说简单，其实在实际操作中
python m3u8多线程下载器
08-18
在使用这个m3u8下载器时，用户需要提供m3u8播放列表的URL，程序会自动解析文件中的各个ts片段，并启动多线程进行下载。下载完成后，通常需要使用FFmpeg来合并这些ts文件，形成一个完整的视频文件。程序可能还提供了...
python实现m3u8格式转换为mp4视频格式
09-20
要将M3U8格式转换为MP4视频格式，我们可以使用Python编程语言来完成这项任务。本文将详细介绍使用Python实现这一功能的步骤，以及关键的知识点。 首先，需要了解M3U8和TS文件。M3U8是一种播放列表文件格式，通常...
python爬取m3u8连接的视频
12-24
2. 解析m3u8文件，提取ts视频的URL。 3. 多线程或异步下载ts视频，提高下载效率。 4. 异常处理，确保失败的任务可以重试。 5. 文件操作，创建、读写和管理本地文件。 了解这些知识点后，你可以根据具体需求修改或...
python爬虫项目——自动批量抓取m3u8网页视频
10-14
总的来说，这个Python爬虫项目展示了如何结合网络请求、HTML解析、文件下载和多媒体处理等技术，实现自动抓取和合成m3u8网页视频。通过学习和实践此类项目，开发者不仅可以提升自己的Python编程能力，还能深入理解...
解析网页m3u8文件地址
weixin_30359021的博客
05-11 7469
import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.InputStreamReader; import java.io.PrintStream; im...
python视频播放列表信息库之m3u8使用详解
Rocky006的博客
02-07 3324
m3u8是一个用于解析和操作M3U8文件的Python库。M3U8文件，是指使用UTF-8编码格式的M3U文件，它们通常用于播放列表文件，尤其是在HTTP Live Streaming（HLS）中。简单来说，m3u8库能帮助你读取和编辑存储视频播放列表信息的文件。
python m3u8_python 实践应用(一)解析M3U8
weixin_35782943的博客
01-28 4187
parse_m3u8_info : 返回M3U8内容, 但不是最终的, 只是简单的打印出来parse_final_m3u8_info : 返回M3U8的完整内容如果有多路stream,默认返回的是第一路的streamhas_ext_stream : 判断M3U8中是否存在#EXT-X-STREAM-INFhas_ext_key : 判断M3U8中是否存在#EXT-X-KEY, 就是m3u8是否被加...
chatgpt赋能python：Python解密M3U8格式的视频文件
www_xuhss_com的博客
06-27 1583
M3U8是一种播放列表文件格式，它是根据M3U格式而来，并且支持UTF-8编码。它是一种基于HTTP Live Streaming（HLS）协议的视频文件格式，用于将视频数据分发到网络上各个客户端。M3U8由多个MPEG-2 TS文件（Transport Stream）组成，这些文件被分割成数秒音频或者视频片段，这些片段被以M3U8格式的文件作为播放列表呈现。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc。
python使用m3u8库解析m3u8文件
热门推荐
Good Luck
06-24 9万+
pip install m3u8 if __name__ == '__main__': play_list = m3u8.load('https://video.buycar5.cn/20200809/Vqdbr9lj/2000kb/hls/index.m3u8') for index, segment in enumerate(play_list.segments): ur = segment.uri print(ur)
使用Python下载本地的m3u8文件
u013379032的博客
10-11 1万+
1. 起因 最近有个朋友给我发了个小电影。 地址是https://xxxxxx.m3u8， 当我使用微信直接打开的时候是可以播放的，但是使用edge打开的时候却直接跳转到了下载连接里，无奈，只能下载下来一个m3u8的文件。 这边先简单解释一下什么是m3u8的视频格式。 根据维基百科的解释， M3U8 是 Unicode 版本的 M3U，用 UTF-8 编码。"M3U" 和 "M3U8" 文件都是苹果公司使用的 HTTP Live Streaming（HLS） 协议格式的基础，这种协议格式可以在 i
python m3u8
08-11
你想了解关于 Python 中处理 m3u8 文件的内容吗？m3u8 是一种用于流媒体播放的文件格式，通常用于分段传输和播放视频。在 Python 中，你可以使用第三方库如 `m3u8` 来解析和处理 m3u8 文件。 首先，你需要安装 `m3u8` 库。你可以使用以下命令通过 pip 安装： ``` pip install m3u8 ``` 安装完成后，你可以使用以下代码示例来解析 m3u8 文件： ```python from m3u8 import M3U8 # 读取 m3u8 文件 with open('example.m3u8', 'r') as file: data = file.read() # 解析 m3u8 文件 m3u8_obj = M3U8(data) # 输出解析结果 print(m3u8_obj.segments) # 获取所有的分片信息 print(m3u8_obj.target_duration) # 获取目标持续时间 print(m3u8_obj.playlist_type) # 获取播放列表类型 ``` 注意，`example.m3u8` 是你的 m3u8 文件路径，你需要将其替换为你自己的文件路径。 通过使用 `m3u8` 库的 `M3U8` 类，你可以获取分片信息、目标持续时间和播放列表类型等信息。你还可以进一步处理这些信息，如下载分片文件、生成播放列表等。 希望对你有帮助！如果有任何疑问，请随时提出。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值