- 博客(1)
- 收藏
- 关注
RSS订阅原创 scrapy retry 错误重试设置
有时候用scrapy爬虫的时候会遇到请求某些url的时候发生异常的情况（多半是因为代理ip抽风了），这时候就可以设置一下retry让它自动重试，很简单。settings中间件设置看了下官网那么很方便的，我们也可以在settings里这么写DOWNLOADER_MIDDLEWARES = { 'rent.middlewares.ProxyMiddleWare': 700, 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 55
2021-04-04 16:42:32
4899
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人