在Scrapy爬虫中,CrawlSpider和scrapy.Spider都是继承至scrapy的子。
用scrapy创建的方式
- CrawlSpider:
scrapy genspider -t crawl 【名】 【域名】
- scrapy.Spider
scrapy genspider crawl 【名】 【域名】
它们的区别在于
-
Spider创建的时候会生成parse函数
-
CrawlSpider创建的时候没有parse函数
生成时会自带Rules:
LinkExtractor为链接提取器,作用时提取url地址
allow=r‘…’为正则表达式,用正则表达式提取自己想要的url地址
callback 提取好的url地址会传递给callback处理,而且此处的callback可以为空
(为什么callback可以为空? 答:根据情况来,有时候我们在一个页面爬取时,这个页面可能只是“过渡页面”,也就是没有我们要爬的数据,但是我们要通过这页面到里面的其他“详情页面”来爬取数据,所以并不需要使用callback来处理)
follow 是否要重新根据当前url地址的响应(也就是循环)
那么这两个函数有作用呢?不同点是什么?
spider在回调request的时候可以使用meta参数来传递item值,而crawlspider不行
crawlspider主要用于爬取一些有规则的网站,所以可以在rules元组中自定义多个Rule(…)
在CrawlSpider中,如果设置rules中的follow参数位True,他会循环的爬取符合规则的所有网址,直道所 有的网址爬完。如果为False,他就只会爬取start_urls=["…"]中的网址。
另外:
问:如果我一定要在CrawlSpider中定义parse函数会怎么样?
答: 会覆盖掉原来的parse请求,因为CrawlSpider这类是基础自scrapy.spiders这个父类,而这父类scrapy.spiders中已经有了默认的parse函数。