第十九天-分布式爬虫scrapy-redis

1.scrapy-redis介绍

1.scrapy框架程

2.分布式爬虫将多个主机组合起乱来，完成一个爬虫任务，快速高效的提高爬虫效率

3.scrapy-redis框架，

优点：1.加快项目的运行速度2.单节点不稳定不影响整个系统的稳定性 3.断点续爬

缺点：需要投入大量的硬件资源

4.区别：

        1.在scrapy框架流程的基础上，把存储reqeust对象放到了redis的有序集合中，利用该有序集合实现了请求队列

        2.并且request对象生成指纹对象，也存储到统一redis中，利用request指纹避免发送重复请求；

2.安装

pip install scrapy-redis==2.5.1