Scrapy爬虫调试

1、创建run.py文件，和setting.py同级目录

2、添加代码：

from scrapy import cmdline
name = 'pythonPosition'
cmd = 'scrapy crawl {0}'.format(name)

cmdline.execute(cmd.split())

其中name参数为spider的name。

3、接着在spider文件中设置断点。

4、run.py文件中右键选择Debug。