通过前四篇教程,相信大家对scrapy的总流程和核心组件都有了一定的认识。这样再结合源码对总流程进行梳理,应该能够更清楚的理解总的执行流程。
后面的教程将会结合源码,对主要的函数和模块详细分析。
还是以scrapy crawl xxxSpider命令为例,结合代码进行讲解。
首先,来看一下scrapy命令的实现:
/usr/local/bin/scrapy:
代码很简单,只是执行scrapy.cmdline中的execute.
from scrapy.cmdline import execute
if __name__ == '__main__':
sys.argv[0] = re.sub(r'(-script\.pyw|\.exe)?$', '', sys.argv[0])
sys.exit(execute())
对execute<