scrapy 执行Request函数时,回调函数未执行情况:
yield scrapy.Request(url=parse.urljoin(response.url, post_url), headers=self.headers, callback=self.parse_detail)
执行的时候发现parse_detail未被调用,很大可能是被allowed_domains给过滤掉了。查看scrapy的运行日志,可以查看'offsite/filtered': 21,被过滤了21个域名。
其实,这些日志信息都是由 scrapy 中的一个 middleware 抛出的,如果没有自定义,那么这个 middleware 就是默认的 Offsite Spider Middleware
,它的目的就是过滤掉那些不在 allowed_domains
列表中的请求 requests。
再次查看手册中关于 OffsiteMiddleware
的部分(https://doc.scrapy.org/en/latest/topics/spider-middleware.html#scrapy.spidermiddlewares.offsite.OffsiteMiddleware)
这些日志信息都是由 scrapy 中的一个 middleware 抛出的,如果没有自定义,那么这个 middleware 就是默认的 Offsite Spider Middleware
,它的目的就是过滤掉那些不在 allowed_domains
列表中的请求 requests。
再次查看手册中关于 OffsiteMiddleware
的部分(https://doc.scrapy.org/en/latest/topics/spider-middleware.html#scrapy.spidermiddlewares.offsite.OffsiteMiddleware)
解决方案:
两种方法能够使 requests 不被过滤:
1. 在 allowed_domains
中加入 url ;
2. 在 scrapy.Request() 函数中将参数 dont_filter=True
设置为 True。