Scrapy爬虫报错：Filtered offsite request to 'blog.jobbole.com'

原因：那就是request的地址和allow_domain里面的冲突而被过滤
解决方法：
使用Request的参数dont_filter=True，即：
yield Request(url, callback=self.parse_item, dont_filter=True)
或者，注释掉allowed_domains**