- 博客(1)
- 收藏
- 关注
转载 Scrapy 下载并发与限制
Scrapy 下载并发与限制并发延迟并发主要有三个设置项来控制下载器的容量:CONCURRENT_REQUESTS,CONCURRENT_REQUESTS_PER_DOMAIN和 CONCURRENT_REQUESTS_PER_IP第一个设置项提供了一个粗略的控制,无论如何不会有超过CONCURRENT_REQUESTS数目的请求被并发下载。在另一方面,如果你的目标域名只是一个或者少数的几个...
2019-12-11 16:43:36 2199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人