scrapy-redis 下载器并发数波动以及下载速度无法达到理论值的问题

最新推荐文章于 2022-10-09 21:17:00 发布

蟹黄味豌豆儿

最新推荐文章于 2022-10-09 21:17:00 发布

阅读量1.6k

点赞数

分类专栏： scrapy 文章标签： redis python

本文链接：https://blog.csdn.net/jiaqi0109/article/details/121683627

版权

scrapy 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文分析了使用Scrapy-Redis进行分布式爬取时，页面/分钟数量波动的原因，指出在并发请求CONCURRENT_REQUESTS设置为16的情况下，爬虫在等待所有16个请求完成下载后才会再次拉取新的请求。如果使用代理，请求间隔由最慢请求决定，可能导致整体速度下降。针对此问题，提出了优化方案，但具体措施未详述。

摘要由CSDN通过智能技术生成

问题

在用 scrapy-redis 进行分布式采集的过程中，分析日志发现 pages/min 数量呈现规律性的波动

原因分析

利用 Telnet 工具进行爬取状态的监控
telnet
在CONCURRENT_REQUESTS=16的情况下，爬虫刚启动时从 redis 队列中拉取 16 个请求，进入下载器，直到这16个请求全部下载完成后，爬虫进入空闲状态，调度器才会再次从redis队列中拉取16个请求
如果有使用代理的话，每一批请求的访问间隔则由最慢的那一次请求来决定，会拖慢整个爬虫的速度