_B a OG 的博客

原创 scrapy redis

scrapy redis 会从指定的redis队列中lpop出一条url，然后将url构造成requset对象，序列化之后放入spider:requests队列中，放多少条跟配置文件设置的concurrent_request有关，默认是16个。再从spider:requests队列中用zrange()取出对象来请求处理。如果16条在中间件处理中（parse_request/parse_respon...