Scrapy框架学习笔记(3)

Crawl spider

创建项目指令跟普通的工程一样，生成爬虫则为scrapy genspider -t crawl 爬虫名称 域。

rules

定义提取url地址的规则。其中的LinkExtractor为连接提取器，提取URL地址。
callback：把提取出来的URL地址的response进行处理。
follow：当前url地址是否重新进过rules来提取url地址。

注意点

1.页面提取的连接可能不完整，crawlspider会自动补充完整再进行请求。
2.prase函数有特殊功能实现，不能定义，定义会把父类给覆盖掉。