简单使用python多进程并发下载大量图片

如果有大量图片想要下载，肯定希望速度越快越好，那么就要使用多任务。

python支持多线程和多进程。但是解释器中的GIL锁导致任何Python线程执行前，必须先获得GIL锁，然后，每执行100条字节码，解释器就自动释放GIL锁，让别的线程有机会执行。所以多线程并不能达到理想的效果。

使用多进程的话，mutilprocessing是个很好用的库。如果是一个进程一个进程的创建，使用其中的Process类；如果是大量的，要使用其中的Pool类。如果涉及到进程间的通讯，还要使用其中Queue类、Pipes类。

综合考虑，选用Pool。

首先要获取所有图片的url（这一步也可以使用多进程），然后创建Pool，其中的子进程从前往后读取url，然后将图片信息保存到本地。

其中主要的两个函数如下所示，在save_pictures(urls)里面创建容量为40的Pool对象（默认情况下是和系统的CPU核数相同，可用通过multiprocessing.cput_count()来得知此数值），然后不停创建子进程，进行下载任务。p.close()表示不能再增加子进程，p.join()表示要等到所有子进程任务都完成后才会继续往下执行。

在save_pic(pic_url,filename)函数中进行单进程的下载图片操作。使用url lib.urlretrieve(url,filename,reporthook,data)函数来下载，这个函数是一块一块下载的，比较方便。report hook回调函数可以用来计算下载进度，此处没有使用。具体实现方法可以看源码。