doggbro的博客

原创 异步编程实现360图片爬虫

这是因为同步编程的爬虫是高IO操作，计算机的CPU很快，但是硬盘的下载和存储相比起来就很慢，这时候就可以使用异步编程来实现速度的飞跃。不管是同步还是异步，我们最重要的都是对网页的读取。也就是从HTML中抓到我们想要的东西，这里我们使用的JSON库来抓取。相信大家在爬虫的学习中发现爬虫爬取大量图片时十分的耗费时间，明明网速也不慢，但是爬取的速度就是上不来。后面的函数和写法我也是在网络上自学的，大家可以看看函数名和结构自学一下，会对代码有更好的理解。话不多说，先上代码。