在上一章中我们对某网站好看的图片进行了下载,但下载速度太慢了。
接下来这一章我给大家带来2个下载速度加快的方法。
一、多线程
多线程:为了更好的利用cpu的资源,如果只有一个线程,则第二个任务必须等到第一个任务结束后才能进行,如果使用多线程则在主线程执行任务的同时可以执行其他任务,而不需要等待;
首先我们导入我们所需要的模块
from concurrent.futures import ThreadPoolExecutor
其他代码我就不放在这里,感兴趣的可以在爬虫日记2:爬取好看的图片里看一下。
废话不多说了,我们主要在主函数里加一些代码就行了。直接上代码。
if __name__ == '__main__':
head = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safar