分布式爬虫调度策略

前言：

爬虫是偏IO型的任务，分布式爬虫的实现难度比分布式计算和分布式存储简单得多。 
个人以为分布式爬虫需要考虑的点主要有以下几个：

• 爬虫任务的统一调度
• 爬虫任务的统一去重
• 存储问题
• 速度问题
• 足够“健壮”的情况下实现起来越简单/方便越好
• 最好支持“断点续爬”功能

Python分布式爬虫比较常用的应该是scrapy框架加上Redis内存数据库，中间的调度任务等用scrapy-redis模块实现。 
此处简单介绍一下基于Redis的三种分布式策略，其实它们之间还是很相似的，只是为适应不同的网络或爬虫环境作了一些调整而已（如有错误欢迎留言拍砖）。 

 

 

【策略一】