Scrapy:一次性运行多个Spiders

http://blog.csdn.net/iefreer/article/details/20677943

如果创建了多个Spider，希望通过cronjob一次性运行所有的Spiders，可以通过自定义Scrapy命令来实现。

1. 在你的Scrapy工程下面新建一个目录：

cd path/to/your_project

mkdir commands

注意这个commands和spiders目录是同级的

2. 在commands下面添加一个文件crawlall.py，代码如下：

[python]  view plain copy

1. from scrapy.command import ScrapyCommand  
2. from scrapy.utils.project import get_project_settings  
3. from scrapy.crawler import Crawler  
4.   
5. class Command(ScrapyCommand):  
6.   
7.     requires_project = True  
8.   
9.     def syntax(self):  
10.         return '[options]'  
11.   
12.     def short_desc(self):  
13.         return 'Runs all of the spiders'  
14.   
15.     def run(self, args, opts):  
16.         settings = get_project_settings()  
17.   
18.         for spider_name in self.crawler.spiders.list():  
19.             crawler = Crawler(settings)  
20.             crawler.configure()  
21.             spider = crawler.spiders.create(spider_name)  
22.             crawler.crawl(spider)  
23.             crawler.start()  
24.   
25.         self.crawler.start()  

3. 在settings.py中添加配置：

COMMANDS_MODULE = 'yourprojectname.commands'

4. 在cronjob中添加：scrapy crawlall命令即可