scrapy-redis的三个spider

scrapy-redis 源码中有自带一个example-project项目，这个项目包含3个spider，分别是dmoz, myspider_redis，mycrawler_redis。

1.dmoz(class DmozSpider(CrawlSpider))

• 执行方式：scrapy crawl dmoz

2.myspider_redis(classMySpider(RedisSpider))

• 执行方式：

1. scrapy runspider myspider_redis.py
2. 在Master端输入：lpush myspider:start_urls http://dmoztools.net/
3. Slaver端爬虫获取到请求，开始爬取。

3.mycrawler_redis(classMyCrawler(RedisCrawlSpider))

• 执行方式

1. scrapy runspider mycrawl_redis.py
2. 在Master端输入：lpush myspider:start_urls http://dmoztools.net/
3. Slaver端爬虫获取到请求，开始爬取。