本文介绍了Scrapy中的CrawlSpider爬虫类，它适用于在同一页面采集数据的情况，与基本的Spider爬虫类不同，CrawlSpider默认继承CrawlSpider类，并通过rules设置规则提取器。创建CrawlSpider时，需使用`Scrapy genspider -t crawl 爬虫名 域名`命令。CrawlSpider的parse_item函数负责数据提取，且不支持单独定义parse函数。LinkExtractor是CrawlSpider的重要组件，允许和拒绝规则、域名限制以及XPath表达式都可用于定制链接提取行为。
Scrapy存在多种爬虫类，最常用的有两种：第一种是基于basic模版创建的普通爬虫类Scrapy.spider。另一种是基于crawl的规则性爬虫类scrapy.spider.crawlspider。
一，crawlspider：经常用于数据在同一个页面上进行采集的情况下。
二，spider：适用于多个页面的采集。
crawlspider原理图如下：
创建crawlspider爬虫项目：crawlspider爬虫和普通爬虫创建项目大致相同，只是在创建爬虫时不同，普通爬虫使用Scrapy genspider 爬虫名 域名，crawlspider爬虫使用Scrapy genspider -t crawl 爬虫名 域名
创建项目如下：
crawlspider爬虫的注意点：
736
336
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
