当Scrapy项目运行缓慢时，可能是因为存在阻塞代码导致并发性失效。例如，设置的阻塞延迟会导致100个URL请求耗时约13秒而非预期的2-3秒。阻塞可能发生在爬虫或pipeline中，可通过禁用pipeline逐一排查。解决方案包括使用异步代码或Twisted线程池，以及通过日志分析定位问题。
症状：系统非常慢，与期望的相差很大，并且当你修改CONCURRENT_REQUESTS的值的时候，速度并没有发生变化。下载器看起来几乎是空的（比CONCURRENT_REQUESTS的值要小），scraper中只有少量一些Response对象。
示例：你可以使用这两个设置项（爬虫代码见这里）：SPEED_SPIDER_BLOCKING_DELAY和SPEED_PIPELINE_BLOCKING_DELAY来使得对于每个响应都会有一个100ms的阻塞延迟。我们希望对于100个URL花费2-3s来完成，然而不管如何设置CONCURRENT_REQUESTS的值，结果都是花费了13s左右。
for concurrent in 16 32 64; do
time scrapy crawl speed -s SPEED_TOTAL_ITEMS=100<
最低0.47元/天 解锁文章
扫一扫
5848
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
