案例:某平台使用scrapy爬取数据
问题:出现scrapy.Request中callback无法调用的问题
- 部分源代码如下
出现不会执行parse_detail方法的情况yield scrapy.Request( item["href"], callback=self.parse_detail, meta = {"item":item}, )
- 解决方式:在Request方法中添加
dont_filter=True
的参数设置不过滤url地址,结果成功执行parse_detail方法。 - 对于Request方法传递的参数不是很了解,无法提供具体解释,只能通过测试来寻找具体的解决方法。只为解决在学习当中的存在问题,在未来的深度学习中,扩大知识面,探索深度的理解。