出现(see DUPEFILTER_DEBUG to show all duplicates)的原因
在爬虫出现了重复的链接,重复的请求。解决方法:
在request添加dont_filter=True
(see DUPEFILTER_DEBUG to show all duplicates)
最新推荐文章于 2022-07-11 07:36:00 发布
出现(see DUPEFILTER_DEBUG to show all duplicates)的原因
在爬虫出现了重复的链接,重复的请求。解决方法:
在request添加dont_filter=True