从源码开始学习Scrapy系列07-genspider指令

前言

genspider用于生成爬虫，与startproject不同的是，它只是生成爬虫模块文件，而startproject是生成整个scrapy项目。默认使用base模板，使用-l参数可以查看可用的所有模板

Available templates:
  basic
  crawl
  csvfeed

  xmlfeed

代码调试

进入genspider模块的run方法

获取爬虫名字，目标域名，并生成模块名

name, domain = args[0:2]
module = sanitize_module_name(name)

模块名校验，不能和BOT_NAME的值一样