Python爬取基于m3u8协议的ts文件并合并

前言

简单学习过网络爬虫,只是之前都是照着书上做并发,大概能理解,却还是无法自己用到自己项目中,这里自己研究实现一个网页嗅探HTML5播放控件中基于m3u8协议ts格式视频资源的项目,并未考虑过复杂情况,毕竟只是练练手.

源码

# coding=utf-8
import asyncio
import multiprocessing
import os
import re
import time
from math import floor
from multiprocessing import Manager
import aiohttp
import requests
from lxml import html
import threading
from src.my_lib import retry
from src.my_lib import time_statistics


class M3U8Download:
    _path = "./resource\\"  # 本地文件路径
    _url_seed = None  # 资源所在链接前缀
    _target_url = {
   }  # 资源任务目标字典
    _mode = ""
    _headers = {
   "User-agent": "Mozilla/5.0"}  # 浏览器代理
    _target_num = 100

    def __init__(self):
        self._ml = Manager().list()  # 进程通信列表
        if not os.path.exists(self._path):  # 检测本地目录存在否
            os.makedirs(self._path)
        exec_str = r'chcp 65001'
        os.system(exec_str)  # 先切换utf-8输出,防止控制台乱码

    def sniffing(self, url):
        self._url = url
        print("开始嗅探...")
        try:
            r = requests.get(self._url)  # 访问嗅探网址,获取网页信息
        except:
            print("嗅探失败,网址不正确")
            os.system("pause")
        else:
            tree = html.fromstring(r.content)
            try:
                source_url = tree.xpath('//video//source/@src')[0]  # 嗅探资源控制文件链接,这里只针对一个资源控制文件
                # self._url_seed = re.split("/\w+\.m3u8", source_url)[0]  # 从资源控制文件链接解析域名
            except:
                print("嗅探失败,未发现资源")
                os.system("pause")
            else:
                self.analysis(source_url)

    def analysis(self, source_url):
        try:
            self._url_seed = re.split("/\w+\.m3u8", source_url