一般运行Scrapy项目的爬虫是在命令行输入指令运行的:
$ scrapy crawl spider
每次都输入还是比较麻烦的,偶尔还会敲错,毕竟能少动就少动
Scrapy提供了一个命令行工具,可以在单个spider文件中加入以下代码:
from scrapy import Spider, cmdline
class SpiderName(Spider):
name = "spider_name"
...
if __name__ == "__main__":
args = 'scrapy crawl spider_name'.split()
cmdline.execute(args)
这样,如果是mac版的PyCharm,可以直接使用快捷键contrl + shift + R
运行项目,省去每次在命令行敲代码的烦恼