scrapy中用来代替crawl 功能的main文件配置

在这个scrapy项目下创建main.py（目录地址和item.py并列）

 

from scrapy.cmdline import execute

import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__))) #大括号内即把该文件路径变为绝对路径
execute(["scrapy", "crawl", "example"])  #以项目example为例    

这样就可以进行main文件的debug调试。而不用每次输入scrapy crawl example

 

另一种写法：

from scrapy import cmdline
cmdline.execute("scrapy crawl examplespider".split())