DEBUG: Filtered offsite request to ‘movie.douban.com’: <GET https://movie.douban.com/top250?start=25&filter=>
这是因为request的地址和allow_domain里面的冲突,从而被过滤掉。
解决办法:
1.停用过滤功能
yield Request(url, callback=self.parse, dont_filter=True)
2.将allowed_domains = [‘www.douban.com’]更改为allowed_domains = [‘douban.com’] 即更换为对应的一级域名.