scrapy 去重的使用
原来Scrapy有默认的去重机制,先上结论:
scrapy.Request(url, meta={‘item’: news_item}, callback=self.parse2, dont_filter=False)找到Request类:默认是False,默认是去重,改为True就不去重了。
scrapy 去重的使用
原来Scrapy有默认的去重机制,先上结论:
scrapy.Request(url, meta={‘item’: news_item}, callback=self.parse2, dont_filter=False)找到Request类:默认是False,默认是去重,改为True就不去重了。