本文分析了Scrapy爬虫因每个请求产生大量Item导致性能下降和内存溢出的问题。通过调整并发设置，观察性能曲线，发现性能瓶颈可能在于CPU利用率过高或内存限制。解决方案包括降低并发数减轻CPU负担，或增加以加速pipeline处理，确保系统吞吐量匹配。若仍无法优化，需检查整个系统的支撑能力。
症状：爬虫对于每个Response都产生了多个Item，系统的吞吐量比期望的要低，并且可能会出现和前一个案例相同的下载器开/关现象。
示例：这里我们假设有1000个请求，每个返回的页面有100个Item，响应时间为0.25s，Item在pipeline中的处理时间为3s。分别把CONCURRENT_ITEMS设置成从10到150的值来运行爬虫：
for concurrent_items in 10 20 50 100 150; do
time scrapy crawl speed -s SPEED_TOTAL_ITEMS=100000 -s \
SPEED_T_RESPONSE=0.25 -s SPEED_ITEMS_PER_DETAIL=100 -s \
SPEED_PIPELINE_ASYNC_DELAY=
最低0.47元/天 解锁文章
扫一扫
968
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
