爬虫——2020.10.11 CrawlSpider使用

CrawlSpider：

是一个类，Spider的一个子类。专门用作于全站数据爬取。也就是说，我们创建的爬虫文件中，父类是CrawlSpider。

使用方法：

1.创建一个工程
2.cd 到工程目录下
3.创建爬虫文件（CrawlSpider）：scrapy genspider -t crawl name ww.xxx.com
4.链接提取器：根据指定的规则（allow：正则表达式）进行指定链接的提取。
5.规则解析器：将链接提取器提取到的链接进行指定规则（callback）的解析操作。follw=True：可以将链接提取器 继续作用到 链接提取器提取到的链接 所对应的页面中。即全站爬取。

解析中：xpath表达式不可以出现tbody标签。
注意：一个链接提取器对应一个规则解析器。这个两个解析方法中是不可以实现请求传参的！方法：将两个解析方法的数据存储到同一个item中，可以以此存储到两个item。

在管道类中要进行item类型的判断。