网页元素节点选取之xpath测试——python lxml的etree方法

最近在用scrapy爬取数据,每次写一堆xpath语法,然后运行爬虫时由于xpath语法错误、或者逻辑错误亦或者节点不精准多做很多工作,于是想查查看有没有简易的xpath节点测试工具或方法:

网上有xpath在线测试小工具,但这种在线测试网页在测试网页文本较大时测试匹配不出来,另外测试时匹配给的是匹配节点的子节点,要测试匹配节点属性选取时用不上。

还有不少第三方小工具下载,小小测试再装个小程序不合我意。

查了下python xpath,找到了lxml,里面的etree方法用来测试xpath语法最好不过了。

方法如下:

安装lxml模块:

pip3 install lxml

from lxml import etree

html="""
目标网页右键查看网页源代码,全复制粘贴到这
"""
selector = etree.HTML(html)
content1 = selector.xpath('xpath语句1')
print(content1)
content2 = selector.xpath('xpath语句2')
语法如:
content1=selector.xpath('//div[@class="dt-info"]/h1/text()')
print(conten1)
content2=selector.xpath('//ul[contain
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值