java启动scrapy爬虫_Scrapy爬虫框架下执行爬虫的方法

在使用Scrapy框架进行爬虫时，执行爬虫文件的方法是 scrapy crawl xxx ，其中 xxx 是爬虫文件名。

但是，当我们在建立了多个文件时，使用上面的命令时会比较繁琐麻烦，我们就可以使用下述方法同时完成爬虫文件的执行。

第一种，在scrapy框架下建立一个运行文件，如 run.py ，在文件中建立一个列表，列表为爬虫的执行命令，最后通过循环执行 execute() 函数完成执行。执行时使用 python run.py 命令即可。如下面的代码所示

from scrapy.cmdline import execute

spiders = [

'scrapy crawl liepin',

'scrapy crawl lagou'

]

if __name__ == '__main__':

for i in spiders:

execute(i.split())

第二种，我们还可以使用自定义项目命令 COMMANDS_MODULE 添加自己的命令完成执行。

在爬虫文件所属的文件夹同级目录下创建任意目录，如command，在文件夹下创建命令文件，如crawlall.py，此文件的名称就是我们自定义的命令。例子代码如下

from scrapy.commands import ScrapyCommand

from scrapy.utils.project import get_project_settings

class Command(ScrapyCommand):

requires_project = True

def run(self,args,opts):

spiders_list = self.crawler_process.spiders.list()

for name in spiders_list:

self.crawler_process.crawl(name,**opts.__dict__)

self.crawler_process.start()

在scrapy项目的配置文件 settings.py 中添加  COMMANDS_MODULE = '项目名称.目录名称' 。至此命令添加完成，最后执行命令  scrapy xxx 进行执行(此处的xxx就是上面建立的文件名，如 scrapy crawlall )。

参考：http://www.cnblogs.com/lei0213/p/7900340.html