最近有许多小伙伴向我私信,说最近准备跳槽,但是面试的机会比较少,好不容易得到面试机会,由于技术点的匮乏,面试直接被刷掉。
![2903db57495ab19bf1d2b18a902c821e.png](https://i-blog.csdnimg.cn/blog_migrate/e67646e388d067e7ffe8ecc7f416fe66.jpeg)
根据反馈,很多面试都问到了分布式爬虫,今天小编就给大家讲讲~
说到爬虫首先要说的就是scrapy,scrapy是Python界出名的一个爬虫框架。scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。
scrapy能做的事情很多,有人改变了scrapy的队列调度,将起始的网址从start_urls里分离出来,改为从redis读取,多个客户端可以同时读取同一个redis,从而实现了分布式的爬虫。
scrapy+redis架构:
![05d96dafefc0dde91c13664c687cad0c.png](https://i-blog.csdnimg.cn/blog_migrate/d4f0cfa90464a2f6f20daea637a39ae4.jpeg)
scra