对于同一个网址进行二次爬取时没有获取到数据

一、原因
要进行二次解析的域名被过滤了

二、解决

yield scrapy.Request(url=detail_url, meta={'item': item}, callback=self.parse_info, dont_filter=True)

通过使用dont_filter=True来避免被过滤。

Hope for the best ,but prepare for the worst 。