python之简单Scrapy分布式爬虫的实现

分布式爬虫：爬虫共用同一个爬虫程序，即把同一个爬虫程序同时部署到多台电脑上运行，这样可以提高爬虫速度。

在默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他的电脑无法访问另外一台电脑上的内存的内容；想要让多台机器共用一个queue队列和set集合，可以让scrapy结合scrapy_redis来完成。

要实现分布式爬虫，首先要配置服务器主从：

配置主从的目的：

1、达到一个备份的功能，一旦master出现崩溃，而数据库中还有数据的话

可以将其中的一个slave重新设置为主服务器，从而恢复Redis的正常运行

2、一个Redis服务器负责读写，性能较低，通过主从来减轻一个Redis的压力

下面通过爬伯乐在线来介绍具体怎么实现：

第一步：

在爬虫文件中引入RedisCrawSpider和Rule

from scrapy_redis.spiders import RedisCrawlSpider
from scrapy.spiders import Rule

让类继承RedisCrawSpider

class BlogSpider(RedisCrawlSpider):
    name = 'blog'
    #允许爬虫的范围
    allowed_domains = ['blog.jobbole.com']
    #用于查找所有符合给定模式的key
    redis_key = 'blogspider:start_urls'

<