首先是默认允许同时存在16个Request,设置了时延为0.1s,并设置随机时延
CONCURRENT_REQUESTS = 16
DOWNLOAD_DELAY = 0.1
RANDOMIZE_DOWNLOAD_DELAY=True
爬取7500个html页面花费约20分钟
取消时延,设置最大并发Request为32
CONCURRENT_REQUESTS = 32
爬取7500个页面花费约17分钟
设置为100
CONCURRENT_REQUESTS = 100
爬取7500个页面花费约17分钟
从结果来看,对于我的设备,设置最大并发Request为100对性能没有提升。