目标:爬影视网站ts文件到本地,合并成mp4文件
下载ts文件
本着不重复造轮子的精神(好吧其实是我懒),想用迅雷批量下载爬取,但是迅雷提供的通配符过于简单无法构造URL,只能自己写脚本
如下:
# -*- coding: utf-8 -*-
import os
import requests
from multiprocessing import Pool
OVER_INDEX = 1600
L = 6
def download(url, n):
try:
r = requests.get(url)
if r.status_code != 200:
print("Requests Failed Code:{},Msg:{}".format(r.status_code, r.text))
print("{}.ts DownLoading...".format(n))
with open("./video/{}.ts".format(n), "wb") as f:
f.write(r.content)
print("{}.ts DownLoad Over...".format(n))
except Exception as e:
print(e)
if __name__ == '__main__':
po = Pool(100)
for i in range(OVER_INDEX):
distance = L - len(str(i))
n = "{}{}".format("0" * distance, i) if distance != 0 else i
url = "https://youku.cdn7-okzy.com/20200204/16986_7277c4b6/1000k/hls/ac79fd06c1b{}.ts".format(n)
po.apply_async(download, args=(url, n))
po.close()
po.join()
print("Over File DownLoad...")
异常
爬取二进制文件使用
r.content()
多进程池爬取后期表现为,顺序执行(跟单进程无异)
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}
查看发现 TIME_WAIT 79,查看监视器,并不是网络资源耗尽,查看multiprocessing发现,猜想池中维持指定个数进程,一个任务结束才会执行下一个任务,如果达到平衡状态,一段时间内进程池内只有一个空位,那么表现就会想像同步执行。尝试扩容进程池改,运行正常
po = Pool(100)
爬取文件结束,开始合并
因为是Mac环境,无法使用Win自带copy命令,各脚本不是失效就是报错,软件也寥寥无几
经查文档,采取如下方案
安装 FFmepg
brew install ffmpeg
各种库一堆装,忘记了换源,下载编译了好几小时,还好没报错。
合并
ffmpeg -f concat -i file_list.txt -c copy output.mp4
其中file_list为如下格式文本文件
file 'input1.ts'
file 'input2.ts'
file 'input3.ts'
采用脚本生成
filePath = "/Users/ls/project/DownVideo/video"
file_list=sorted(os.listdir(filePath))
with open("./video/file_list.txt","w+") as f:
for file in file_list:
f.write("file '{}'\n".format(file))
结束
到这里倒腾结束了,写脚本没有花太多时间,主要查找合并ts到mp4的办法,如果是win copy是真的简单,格式工厂这类软件也多,但在Mac下就要自己动手丰衣足食,各有各的好处。后面可以利用tqbm扩展进度条,和利用retry增加爬取异常时重试机制。