超级会员免费看
本文介绍了如何使用Scrapy的CrawlSpider类和LinkExtractor来实现超链接的深度爬取。在业务场景中，当爬虫主要任务是对子链接进行访问时，CrawlSpider可以自动遵循预设规则，将不同类型的子链接交给相应的回调函数处理。通过示例——改写《使用scrapy框架爬取股票数据》的爬虫，展示了CrawlSpider的用法，生成名为stock的爬虫并指定了爬取目标stock.10jqka.com.cn。
@业务场景
- 当爬虫的主要工作集中在对超链接的深度爬取而非首页时适用
- 当定义好子链接爬取规则时，框架会自动对子链接进行访问，并将不同样式的子链接页面结果交由不同回调函数处理
- 本例对《使用scrapy框架爬取股票数据》进行改写
@创建CrawlSpider
- scrapy genspider -t crawl stock stock.10jqka.com.cn
- 则框架会自动生成爬虫模板stock.py
- stock.10jqka.com.cn为要爬取的首页
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
class
订阅专栏 解锁全文
扫一扫
1064
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
