前言
简单学习过网络爬虫,只是之前都是照着书上做并发,大概能理解,却还是无法自己用到自己项目中,这里自己研究实现一个网页嗅探HTML5播放控件中基于m3u8协议ts格式视频资源的项目,并未考虑过复杂情况,毕竟只是练练手.
源码
# coding=utf-8
import asyncio
import multiprocessing
import os
import re
import time
from math import floor
from multiprocessing import Manager
import aiohttp
import requests
from lxml import html
import threading
from src.my_lib import retry
from src.my_lib import time_statistics
class M3U8Download:
_path = "./resource\\" # 本地文件路径
_url_seed = None # 资源所在链接前缀
_target_url = {
} # 资源任务目标字典
_mode = ""
_headers = {
"User-agent": "Mozilla/5.0"} # 浏览器代理
_target_num = 100
def __init__(self):
self._ml = Manager().list() # 进程通信列表
if not os.path.exists(self._path): # 检测本地目录存在否
os.makedirs(self._path)
exec_str = r'chcp 65001'
os.system(exec_str) # 先切换utf-8输出,防止控制台乱码
def sniffing(self, url):
self._url = url
print("开始嗅探...")
try:
r = requests.get(self._url) # 访问嗅探网址,获取网页信息
except:
print("嗅探失败,网址不正确")
os.system("pause")
else:
tree = html.fromstring(r.content)
try:
source_url = tree.xpath('//video//source/@src')[0] # 嗅探资源控制文件链接,这里只针对一个资源控制文件
# self._url_seed = re.split("/\w+\.m3u8", source_url)[0] # 从资源控制文件链接解析域名
except:
print("嗅探失败,未发现资源")
os.system("pause")
else:
self.analysis(source_url)
def analysis(self, source_url):
try:
self._url_seed = re.split("/\w+\.m3u8", source_url