只需要在代码中添加:dont_filter=True即可
如下
yield scrapy.Request(xxxurl,callback=self.xxxx,dont_filter=True)
问题在于提交的被爬取url出现了重复的,所以爬虫不能正常运行
只需要在代码中添加:dont_filter=True即可
如下
yield scrapy.Request(xxxurl,callback=self.xxxx,dont_filter=True)
问题在于提交的被爬取url出现了重复的,所以爬虫不能正常运行