使用scrapy 爬虫框架 提示： Filtered offsite request to 错误.

原文地址：http://blog.csdn.net/feifly329/article/details/49702063

在抓取  http://www.xiaohuar 网站的图片时，递归获取详情页面时，提示： Filtered offsite request to

原因：

是request的地址和allow_domain里面发生了冲突，从而被过滤掉了

解决办法：

1.可以停用过滤功能

2.yield Request(url, callback=self.parse_item, dont_filter=True)