Scrapy爬虫局部Selector的选取办法

本人由于工作原因需要爬取齐家网的论坛信息,一个比较小众的论坛,需要爬楼主信息以及评论内容,然后遇到了一个比较烦人的问题
这里写图片描述
我需要取每一条评论,按正常的思路是把每一楼当作一个selector,然后从中遍历每一个sel,选取xpath,
for sel in Selector:
print sel.xpath(‘//xxxxxxx’).extract()

如果你这么写,就恭喜你,我这么写是错的
这是为什么呢?
这里用到了xpath的一些独特的规则,就是“//”默认会取整个selector的部分,如果要从局部取,可以试一下
for sel in Selector:
print sel.xpath(‘.//xxxxxxx’).extract()
对,就是这样,我加了一个点,但就是这个点,想了四天,才把它解决掉

写的有点乱,如果又遇到类似的问题可以联系我,咱们在讨论哈。这里不再赘述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值