出现这个提示的原因是scrapy的filter功能将请求自动过滤掉,从而不会出现请求的结果
在请求yield Request(url, method=“POST”, body=json.dumps(self.data), headers=self.headers,
callback=self.get_detail, meta={‘page’: page, ‘ids’: ids,‘href’:href},dont_filter=True) 中增加dont_filter=True这一选项,将过滤功能关闭掉就ok了
python scrapy 出现no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicate
最新推荐文章于 2021-03-19 19:20:53 发布