如果将Spider比作scrapy爬虫王国的一个元帅,那CrawlSpider绝对是元帅手底下骁勇善战的将军。而其rules,便是善于抽丝剥茧的军师。
以下便记录以下一个CrwalSpider的作战过程。
1、 首先创建scrapy项目
python -m scrapy startproject 项目名称
2、 创建CrawlSpider
python -m scrapy genspider -t crawl 蜘蛛名 域名
python -m 详细内容可见 https://zhuanlan.zhihu.com/p/91120727
此时我们便已经创建好了基础的CrawlSpider
其中项目中的域名与起始url我们都可以自己手动修改。我们可以将不同的url入口放在start_urls中列表中,从而从不同起点开始爬取整个网站。爬虫开始后首先从start_