ezio____的博客

原创 为什么scrapy项目改成分布式爬虫scrapy-redis项目,无法翻页？

为什么scrapy项目改成分布式爬虫scrapy-redis项目,无法翻页？ 项目场景： Scrapy爬虫和scrapy-redis分布式爬虫爬知网的专利信息 问题描述： scrapy可以翻页，爬取了所有页的数据，改成scrapy-redis后无法翻页，只执行了第一页的代码，爬取了第一页的数据，翻页的代码一样，原因是什么？ if(self.s<=99999): time.sleep(0.1) self.s+=1 self.offset