本文介绍了如何在Scrapy项目中创建自定义RetryMiddleware，当JSON响应包含特定信息时，将请求加入重试队列。内容包括处理含有cookie禁用信息的策略，以及遵循Scrapy Download Middleware的process_response方法来调整请求行为，确保失败页面在爬虫完成所有常规页面抓取后重新安排下载。同时提到了在settings中激活该中间件以及重试时间和过滤规则的设置。
爬虫repo地址：https://github.com/Karmenzind/EasyGoSpider
此处需求为：
- 返回json中带有
{"code": 0}时，将此请求加入重试队列 - 假如json中含有cookie被禁信息，对cookie列表进行修正
源码注释中有一句：
Failed pages are collected on the scraping process and rescheduled at the end, once the spider has finished crawling all regular (non failed) pages.
继而根据Scrapy doc对通用Download Middleware中process_response的介绍：
If it returns a Request object, the middleware ch
最低0.47元/天 解锁文章
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
