爬虫——2020.10.9 scrapy全站爬取

scrapy全站爬取：

含义：就是将网站中某板块下的全部页码对应的页面数据进行爬取。
实现方式：
（1）将所有页面的url添加到start_url列表中（不推荐）
（2）手动进行请求发送（推荐）：callback回调函数专门用作于数据解析。
yield scrapy.Request(url=new_url,callback=self.parse)