from multiprocessing.dummy import Pool
# 设置一个线程池,他的容量为5
pool = Pool(5)
# get_data爬数据的方法,urls所有需要爬的网页数组
pool.map(get_data, urls)
# 关闭线程池
pool.close()
pool.join()
用法挺简单的,感觉比较实用,不用一个一个等了。
from multiprocessing.dummy import Pool
# 设置一个线程池,他的容量为5
pool = Pool(5)
# get_data爬数据的方法,urls所有需要爬的网页数组
pool.map(get_data, urls)
# 关闭线程池
pool.close()
pool.join()
用法挺简单的,感觉比较实用,不用一个一个等了。