- 博客(1)
- 收藏
- 关注
原创 为什么scrapy项目改成分布式爬虫scrapy-redis项目,无法翻页?
为什么scrapy项目改成分布式爬虫scrapy-redis项目,无法翻页? 项目场景: Scrapy爬虫和scrapy-redis分布式爬虫爬知网的专利信息 问题描述: scrapy可以翻页,爬取了所有页的数据,改成scrapy-redis后无法翻页,只执行了第一页的代码,爬取了第一页的数据,翻页的代码一样,原因是什么? if(self.s<=99999): time.sleep(0.1) self.s+=1 self.offset
2020-10-09 17:01:02
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人