python 爬虫之 线程池和进程池的使用

 异步爬虫基于 线程池 和单线程+多任务异步协程

 

 

from multiprocessing.dummy import Pool
from time import sleep
# 本质是： 对阻塞且耗时的爬虫使用
def index(str):
    print("正在下载：",str)
    sleep(2)
    print('下载成功：',str)
namelist = ['aa','bb','cc']
# 实例化一个线程池对象
pool = Pool(4)

pool.map(index,namelist)   # index 执行的函数   namelsit 是index 里面的参数

pool.close()
pool.join()