原因:那就是request的地址和allow_domain里面的冲突而被过滤
解决方法:
使用Request的参数dont_filter=True,即:
yield Request(url, callback=self.parse_item, dont_filter=True)
或者,注释掉allowed_domains**
Scrapy爬虫报错:Filtered offsite request to 'blog.jobbole.com'
最新推荐文章于 2020-02-12 18:15:08 发布