在使用Scrapy爬取拉勾网Python岗位信息时，遇到response.xpath()无法获取到预期的data-positionid属性值的问题。经过排查，发现可能是XPath语法不适应Scrapy shell环境，或者是XML默认命名空间导致的问题。通过调整XPath表达式或处理命名空间，最终成功获取到数据。
春天到了，又是交配、咳咳找工作的季节，各种招聘网站也开始活跃起来，为了服务身边的程序员朋友，于是用scrapy写了一个简单的招聘网站的爬取程序，用来自动获取更新招聘信息。
scrapy使用熟练了，用起来还是挺简单，利索的创建项目，编写spider文件，大体框架搭好，打开拉勾（https://www.lagou.com/zhaopin/python/），然后分析网页结构，使用 chrome浏览器的xpath插件获取标签数据，都没有问题。
按照自己的习惯，虽然在浏览器上获取数据没有问题，自己还是会用scrapy shell 再测试一次，确认没有问题才会往下编码。
然后问题就来了，使用xpath在浏览器中获取数据没有问题，在scrapy shell中运行response.body能获取整个页面的html代码
但是使用response.xpath("//div[@class='s_position_list']/ul/li/@data-positionid")在 shell 中运行的时候，获取的却为空
然后自己又试了两次，还是不行，于是开始google相关文档和问题
最低0.47元/天 解锁文章
扫一扫
791
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
