（十九）Scrapy中基于Scrapy-redis组件实现分布式爬虫（非常详细）

系列文章： python网络爬虫专栏  

目录

11 Scrapy-redis组件实现分布式爬虫   

    11.1 什么是分布式爬虫

    11.2 什么是Scrapy-Redis

11.3 Scrapy-Redis以及Redis的安装

11.4 创建普通scrapy爬虫项目

11.5 改造为Scrapy-Redis项目

11.6 爬虫数据存储

11.7 Scrapy-Redis分布式部署

总结

---

序言

      本人从事爬虫相关工作已8年以上，从一个小白到能够熟练使用爬虫，中间也走了些弯路，希望以自身的学习经历，让大家能够轻而易举的，快速的，掌握爬虫的相关知识并熟练的使用它，避免浪费更多的无用时间，甚至走很大的弯路。欢迎大家留言，一起交流讨论。

---