Crawl spider
创建项目指令跟普通的工程一样,生成爬虫则为scrapy genspider -t crawl 爬虫名称 域。
rules
定义提取url地址的规则。其中的LinkExtractor为连接提取器,提取URL地址。
callback:把提取出来的URL地址的response进行处理。
follow:当前url地址是否重新进过rules来提取url地址。
注意点
1.页面提取的连接可能不完整,crawlspider会自动补充完整再进行请求。
2.prase函数有特殊功能实现,不能定义,定义会把父类给覆盖掉。