Scrapy错误
baidu_252253
这个作者很懒,什么都没留下…
展开
-
scrapy框架中利用xpath获取网页内容为空,而xpath书写完全正确
如图:利用xpath解析结果: imgs_href = response.xpath('//div[@class="box picblock col3 masonry-brick"]/div/a')如上图:网页源代码中解析结果: imgs_href = response.xpath('//div[@class="box picblock col3"]/div/a') 总结:当解析网页时,不能仅仅...原创 2018-03-15 20:34:47 · 9653 阅读 · 2 评论 -
错误:No module named 'scrapy'
需要在当前文件目录下运行。原创 2018-03-03 13:59:07 · 9039 阅读 · 0 评论 -
Scrapy框架中通过爬虫文件中的parse函数中的callback无法回调别的函数的问题
此种问题还可以通过修改类的allowed_domains属性值的问题解决,以上图为例:可以将allowed_domains的属性值修改为"zhaopin.com"就可以通过callback回调另一个函数了,从类的allowed_domains(所有_域名)属性名就可以看出,在yield scrapy.Requests()中利用callback进行回调时,url的域名也必须跟allowed_doma...原创 2018-03-28 09:20:48 · 5250 阅读 · 0 评论