![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
____2.1.3 - Python-toolkit
文章平均质量分 75
汐雪池间
计算机科学与技术 -> 数据科学与工程 -> 大数据工程师
展开
-
Python 分块多线程下载器
python 分块多线程下载器将通过 HTTP 协议传输的文件进行分块,并用多线程下载,充分利用本地带宽。* 只需要 python 2.7 , 不需要三方库。* 每个线程对应一个 http 连接* max_block_size 越大内存占用越大,影响数据能否尽早写入磁盘而不是停留在内存里。单个下载块太大会出 **MemoryError*** 经过测试:压缩文件,视频文件,音频文件没问题,原创 2017-04-07 16:25:43 · 2317 阅读 · 0 评论 -
Multithread download tool for massive tiny files.
""" Multithread download tool for massive tiny files."""原创 2017-03-16 17:53:33 · 532 阅读 · 0 评论