直接学习:https://edu.csdn.net/course/play/24756/283290
CrawlSpider爬虫介绍:
#1、作用:可以定义规则,让scrapy自动去爬取我们想要的链接。而不必跟spider类一样,yield Request
#2、创建: scrapy genspider -t crawl [爬虫名] [域名]
#3、提取的两个类:
*LinkExtrator:用来定义需要爬取的url规则
*Rule:用来定义这个url爬取后的处理方式,比如是否需要跟进,是否需要执行回调
第六章:Scrapy框架-CrawlSpider爬虫介绍
最新推荐文章于 2022-07-11 18:50:20 发布