前言
genspider用于生成爬虫,与startproject不同的是,它只是生成爬虫模块文件,而startproject是生成整个scrapy项目。默认使用base模板,使用-l参数可以查看可用的所有模板
Available templates:
basic
crawl
csvfeed
xmlfeed
代码调试
进入genspider模块的run方法
获取爬虫名字,目标域名,并生成模块名
name, domain = args[0:2] module = sanitize_module_name(name)
模块名校验,不能和BOT_NAME的值一样