setting.py:
# 解决爬取遗漏问题
AUTOTHROTTLE_ENABLED = True
Request中加入参数,主爬虫文件中的parse方法的请求函数中加入参数:dont_filter=True
yield scrapy.Request(next_path, dont_filter=True, callback=self.parse)
setting.py:
# 解决爬取遗漏问题
AUTOTHROTTLE_ENABLED = True
Request中加入参数,主爬虫文件中的parse方法的请求函数中加入参数:dont_filter=True
yield scrapy.Request(next_path, dont_filter=True, callback=self.parse)