Python爬虫编程思想（142）：多线程和多进程爬虫--多进程

        尽管多线程可以实现并发执行，不过多个线程之间是共享当前进程的内存的，也就是说，线程可以申请到的资源有限。要想更能发挥并发的作用，可以考虑使用多进程。

        如果建立的进程比较多，可以使用multiprocessing模块的进程池（Pool类），通过Pool类构造方法的processes参数，可以指定创建的进程数。Pool类有一个map方法，用于将回调函数与要给回调函数传递的数据管理起来，代码如下：

pool = Pool(processes=4)
​​​​​​​pool.map(callback_fun,values)

        上面的代码利用Pool对象创建了4个进程，并通过map方法指定了进程回调函数，当进程执行时，就会调用这个函数，va