爬虫——2020.10.10 scrapy请求传参

请求传参：

使用场景：爬取的数据不在同一页面中。也就是说爬取的目标可能在详情url中，即深度爬取。

例子：

1.第一步：


实现方法：重写一个解析详情页的parse方法，在原始parse方法下，手动进行请求发送中，加入meta参数，即可将item传递给解析详情页的parse方法。
就是将不同页面解析返回的item封装到同一个item中。

yield scrapy.Request(detail_url,callback=self.detail_parse,meta={'item':item})

2.第二步：分页操作
首先在需要定义一个通用的url模板，当执行完首页的解析操作之后，然后设置条件判断，请求后面的url，利用callback=self.parse再次进行解析操作即可。