- 博客(1)
- 收藏
- 关注
RSS订阅转载 Scrapy 下载并发与限制
Scrapy 下载并发与限制并发延迟 并发 主要有三个设置项来控制下载器的容量：CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN和 CONCURRENT_REQUESTS_PER_IP 第一个设置项提供了一个粗略的控制，无论如何不会有超过CONCURRENT_REQUESTS数目的请求被并发下载。在另一方面，如果你的目标域名只是一个或者少数的几个...
2019-12-11 16:43:36
2162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人