scrapy爬虫中CrawlSpider和scrapy.Spider的区别

在Scrapy爬虫中，CrawlSpider和scrapy.Spider都是继承至scrapy的子。
用scrapy创建的方式

• CrawlSpider：
  scrapy genspider -t crawl 【名】 【域名】

• scrapy.Spider
  scrapy genspider crawl 【名】 【域名】

它们的区别在于

• Spider创建的时候会生成parse函数
  

• CrawlSpider创建的时候没有parse函数
  生成时会自带Rules：
  
  LinkExtractor为链接提取器，作用时提取url地址
  allow=r‘…’为正则表达式，用正则表达式提取自己想要的url地址
  callback 提取好的url地址会传递给callback处理，而且此处的callback可以为空
  （为什么callback可以为空？ 答：根据情况来，有时候我们在一个页面爬取时，这个页面可能只是“过渡页面”，也就是没有我们要爬的数据，但是我们要通过这页面到里面的其他“详情页面”来爬取数据，所以并不需要使用callback来处理）
  follow 是否要重新根据当前url地址的响应（也就是循环）

那么这两个函数有作用呢？不同点是什么?
spider在回调request的时候可以使用meta参数来传递item值，而crawlspider不行
crawlspider主要用于爬取一些有规则的网站，所以可以在rules元组中自定义多个Rule(…)
在CrawlSpider中，如果设置rules中的follow参数位True，他会循环的爬取符合规则的所有网址，直道所 有的网址爬完。如果为False，他就只会爬取start_urls=["…"]中的网址。

另外：
问：如果我一定要在CrawlSpider中定义parse函数会怎么样？
答： 会覆盖掉原来的parse请求，因为CrawlSpider这类是基础自scrapy.spiders这个父类，而这父类scrapy.spiders中已经有了默认的parse函数。