![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
钢铁大脑袋
这个作者很懒,什么都没留下…
展开
-
scrapy-redis 爬虫 scrapy cannot import name ‘Iterable‘ from ‘collections‘
scrapy-redis 在爬取的时候,遇到cannot import name ‘Iterable‘ from ‘collectons‘原创 2022-05-06 18:13:28 · 770 阅读 · 0 评论 -
使用scrapy-redis 分布式爬虫的时候出现了no more duplicates will be shown
只需要在代码中添加:dont_filter=True即可 如下 yield scrapy.Request(xxxurl,callback=self.xxxx,dont_filter=True) 问题在于提交的被爬取url出现了重复的,所以爬虫不能正常运行原创 2022-05-06 17:45:28 · 568 阅读 · 0 评论