scrapy运行报错问题

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Beyond_F4/article/details/80348444

异常信息:

info:crawled 100 pages(at 8 pages/min),scraped 1291 items (at 0 items/min)

处理方案:

1、看你的xpath到底能不能匹配到你要的元素啊,你可以试试用chrome的一个XPath helper插件

2、你要请求的地址和allow_domain里面的冲突,从而被过滤掉。可以停用过滤功能。
yield Request(url, callback=self.parse_item, dont_filter=True),或者将该url的域加入到allow_domain中

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试