Python-玩转数据-scrapy简单分布式爬虫

一、说明

虽然scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了scrapy的队列调度，将起始的网址从start_urls里分离出来，改为从redis读取，多个客户端可以同时读取同一个redis，从而实现了分布式的爬虫。就算在同一台电脑上，也可以多进程的运行爬虫，在大规模抓取的过程中非常有效。

二、分布式爬虫原理

多了一个redis组件，主要影响两个地方：第一个是调度器。第二个是数据的处理。

Scrapy-Redis分布式策略。

作为一个分布式爬虫，是需要有一个Master端（核心服务器）的，在Master端，会搭建一个Redis数据库，用来存储start_urls、request、items。Master的职责是负责url指纹判重，Request的分配，以及数据的存储（一般在Master端会安装一个mongodb用来存储redis中的items）。出了Master之外，还有一个角色就是slaver（爬虫程序执行端），它主要负责执行爬虫程序爬取数据，并将爬取过程中新的Request提交到Master的redis数据库中。

如上图，假设我们有四台电脑：A， B， C， D ，其中任意一台电脑都可以作为 Master端 或 Slaver端。整个流程是：
首先Slaver端从Master端拿任务（Request、url）进行数据抓取，Slaver抓取数据的同时，产生新任务的Request便提交给 Master 处理；
Master端只有一个Redis数据库，负责将未处理的Request去重和任务分配，将处理后的Request加入待爬队列，并且存储爬取的数据。


Scrapy-Redis默认使用的就是这种策略，我们实现起来很简单，因为任务调度等工作Scrapy-Redis都已经帮我们做好了，我们只需要继承RedisSpider、指定redis_key就行了。

缺点是，Scrapy-Redis调度的任务是Request对象，里面信息量比较大（不仅包含url，还有callback函数、headers等信息），可能导致的结果就是会降低爬虫速度、而且会占用Redis大量的存储空间，所以如果要保证效率，那么就需要一定硬件水平。

三、案例准备

1、windows一台(从：scrapy)

2、linux一台(主:scrapy\redis\mongo)

ip:192.168.184.129

3、python3.6

linux下scrapy的配置步骤：

1、安装python3.6

yum install openssl-devel -y   解决pip3不能使用的问题(pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available)

下载python软件包，Python-3.6.1.tar.xz，解压后

　　　　　　./configure --prefix=/python3

　　　　　　make

　　　　　　make install　　

　　　　加上环境变量：

　　　　　　PATH=/python3/bin:$PATH:$HOME/bin

　　　　　　export PATH

　　　　安装完成后，pip3默认也已经安装完成了(安装前需要先yum gcc)



　　2、安装Twisted

　　　　下载Twisted-17.9.0.tar.bz2，解压后 cd Twisted-17.9.0, python3 setup.py install

　　3、安装scrapy

　　　　pip3 install scrapy

　　　　pip3 install scrapy-redis
　　4、安装redis

　　　　见博文redis安装与简单使用　　
　　　　错误：You need tcl 8.5 or newer in order to run the Redis test
　　　　　　1、wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar