scrapy运行报错问题

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Beyond_F4/article/details/80348444

异常信息:

info:crawled 100 pages(at 8 pages/min),scraped 1291 items (at 0 items/min)

处理方案:

1、看你的xpath到底能不能匹配到你要的元素啊,你可以试试用chrome的一个XPath helper插件

2、你要请求的地址和allow_domain里面的冲突,从而被过滤掉。可以停用过滤功能。
yield Request(url, callback=self.parse_item, dont_filter=True),或者将该url的域加入到allow_domain中

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页