解析库xpath高级使用（超全）

最新推荐文章于 2023-09-28 14:30:35 发布

VIP文章「已注销」

最新推荐文章于 2023-09-28 14:30:35 发布

阅读量1.8k

点赞数 3

分类专栏： Python爬虫文章标签： python xpath

本文链接：https://blog.csdn.net/weixin_43934369/article/details/105665882

版权

解析库xpath使用方法

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。XPath 最初设计是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式，另外它还提供了超过100个内建函数用于字符串、数值、时间的匹配以及节点、序列的处理等等，几乎所有我们想要定位的节点都可以用XPath来选择。

1.常用规则

表达式	解释
nodename	选取此节点的所有子节点
/	从当前节点选取直接子节点
//	从当前节点选取子孙节点
.	选取当前节点
…	选取当前节点的父节点
@	选取属性
*	匹配所有节点

2.补全html标签

etree.tostring(ele)补全缺失的标签，ele必须是element_or_tree，不可直接传入html文本。

etree.tostring()可以将一个元素对象转换为一个字符串，比如你获取到了某个元素对象，你想看一看元素对象里面是什么，就可以使用这个方法。

from lxml import etree

html = '''
<div>
    <ul>
         <li class="item-0"><a href="https://ask.hellobi.com/link1.html">first item</a></li>
         <li class="item-1"><a href="https://ask.hellobi.com/link2.html">second item</a></li>
         <li class="item-inactive"><a href="https://ask.hellobi.com/link3.html">third item</a></li>
         <li class="item-1"><a href="https://ask.hellobi.com/link4.html">fourth item</a></li>
         <li class="item-0"><a href="https://ask.hellobi.com/link5.html">fifth item</a>
     </ul>
 </div>
'''
ele = etree.HTML(html)
# tostring补全html中缺的标签，返回二进制数据
result = etree.tostring(ele)
print(result.decode('utf-8'))

我们来看下结果，可以看到经过处理之后li节点标签被补全，并且还自动添加了body、html节点。

<html><body><div>
    <ul>
         <li class="item-0"><a href="https://ask.hellobi.com/link1.html">first item</a></li>
         <li class="item-1"><a href="https://ask.hellobi.com/link2.html">second item</a></li>
         <li class="item-inactive"><a href="https://ask.hellobi.com/link3.html">third item</a>

最低0.47元/天解锁文章

「已注销」

关注

3
点赞
踩
28

收藏

觉得还不错? 一键收藏
0
评论
解析库xpath高级使用（超全）

解析库xpath使用方法XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。XPath 最初设计是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式，另外它还提供了超过100个内建函数用于字符串、数值、时间的匹配以及节点、序列的处理等等，几乎所有我们想要定位的节点都...
复制链接

扫一扫