我用的是gevent模块来使用协程,另外这里强烈推荐下Anaconda3,因为几乎所有包都有,安装很方便。
gevent并发下载我是借鉴了http://blog.csdn.net/wzm112/article/details/8171146这一篇文章的,不过因为它有点旧了,所有我用了requests库重新写了下。
代码非常简单,速度却比多进程和多线程快了非常多。
代码如下:
#同样的,下载30个url
import random
import time
import gevent
import gevent.monkey
gevent.monkey.patch_all()#有IO时使用
import requests
def download(url):
a=random.randint(0,40)
s=requests.Session()
res=s.get(url)
with open('%d.jpg'%a,'wb')as f:
f.write(res.content)
if __name__=='__main__':
s=time.time()
f=open('E:\Python\py\process+xiec\\test.txt','r')
b=f.readlines()
f.close()
for i in b:
ge=[gevent.spawn(download,i)]
gevent.joinall(ge)
e=time.time()
print(e-s)
输出时间:1.499
比多进程(8s多)和多线程(4s多)快多了
另外,我也试了多进程+协程(听说并发更快)的方式来并发下载,试了3次,电脑都崩溃了。
这方式我在想想吧。