scrapy-redis分布式爬取彩票网站信息

准备：

首先，希望学习这篇博文的人具有一定的爬虫知识，或者具备快速学习基础内容的能力，因为有些基础的爬虫知识和内容，需要你们自己加强和掌握，本文基于此基础上，对redis-scrapy框架进行一定的阐述。

环境：python 3.6，linux系统为ubantu

过程：

首先创建项目名称为winnumber，选择好项目的路径后，在终端下输入scrapy startproject winnumber。而后进入项目文件中的spiders文件夹中，创建爬虫文件，执行命令：scrapy genspider -t crawl winnum ‘kaijiang500.com’ 。其中winnum是爬虫文件的名称，后面的域名是我们要爬取彩票信息的网站。

创建好scrapy框架项目后，利用pycharm打开项目文件，会发现winnumber文件夹下有items.py、pipelines.py、settings.py等文件，以及sipders文件夹下的winnum.py爬虫文件。接下来按照顺序一一介绍其内容和作用。

首先是items.py文件，该文件显示了我们的项目需要爬取哪些信息，如双色球的七颗中奖红球 和蓝球。

class WinnumberItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    date1 = Field()
    order1 = Field()
    red1 = Field()
    red2 = Field()
    red3 = Field()
    red4 = Field()
    red5 = Field()
    red6 = Field()
    blue = Field()
    money = Field()
    firstPrize = Field()
    secondPrize = Field()

然后完成爬虫文件winnum中的代码编辑，如下代码块中，将前两行代码注释掉，接着换成redis_key保存redis数据库中保存网页的键winnumspider:start_urls，即可实现分布式框架，将简单的scrapy框架改成scrapy-redis分布式框架。这里限于学习，用到的redis数据库可以是ubantu中的。一般的redis框架，是一个集群，将控制爬取的、存储爬取网站网址的队列放在主服务器端的redis数据库中，这里不再赘述。