异步爬虫的方法: (1)多线程,多进程(不建议) 优点:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步执行 缺点:无法无限制的开启多线程或者多进程 (2)线程池、进程池(适当使用) 优点:可以降低系统对进程或者线程创建和销毁的一个频率,从而很好的降低系统的开销 缺点:池中线程或进程的数量是有上线
1、使用单线串行方式执行
#使用单线串行方式执行
import time
def get_page(str):
print('正在下载',str)
time.sleep(2)
print('下载成功', str)
if __name__ == '__main__':
name_list = ['xiaolei','blue','hello','word']
start_time = time.time()
for i in range(len(name_list)):
get_page(name_list[i])
end_time = time.time()
print('%d second'% (end_time-start_time))
结果:耗时8s
2、使用线程池方式执行
# 使用线程池方式执行
import time
from multiprocessing.dummy import Pool
def get_page(str):
print('正在下载',str)
time.sleep(2)
print('下载成功', str)
if __name__ == '__main__':
start_time = time.time()
name_list = ['xiaolei','blue','hello','word']
# 实例化一个线程池对象
pool = Pool(len(name_list))
# 将列表中每一个列表元素传递给get_page进行处理
pool.map(get_page,name_list)
end_time = time.time()
print('%d second'% (end_time-start_time))
结果:耗时2s
使用线程池明显比单线串行快很多