Beyond_F4的博客

《 清风拂杨柳 , 敢问是段友 ? 》

scrapy运行报错问题

异常信息:

info:crawled 100 pages(at 8 pages/min),scraped 1291 items (at 0 items/min)

处理方案:

1、看你的xpath到底能不能匹配到你要的元素啊,你可以试试用chrome的一个XPath helper插件

2、你要请求的地址和allow_domain里面的冲突,从而被过滤掉。可以停用过滤功能。
yield Request(url, callback=self.parse_item, dont_filter=True),或者将该url的域加入到allow_domain中

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Beyond_F4/article/details/80348444
个人分类: 爬虫-python
想对作者说点什么? 我来说一句

python scrapy运行报错解决

python

arenzhj arenzhj

2015-02-02 23:50:50

阅读数:1895

没有更多推荐了,返回首页

不良信息举报

scrapy运行报错问题

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭