解析网页之xpath解析

什么是xpath？

xpath指的是使用路径表达式在 XML 文档中查找信息的语言。

初步了解xpath

1. xpath的七个节点术语：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。
2. 每个元素以及属性都有一个父节点。元素节点可有零个、一个或多个子节点。就好像每一片树叶都只能在一根树枝上，但每一根树枝却有很多树叶。以此类推，树干是所有树枝的先辈节点，同一根树枝下的两片不同树叶是同胞节点，大树枝上的小树枝上的树叶就是大树枝的后代节点。
3. 前面说xpath是使用路径表达式来查找信息，其实获取信息的方式就是选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。也就是说，你想找到一片叶子你需要从树主干找起，然后找到大树枝，然后看是在大树枝的第几个小树枝上，以此类推，从而找到你想要的获取的信息所在的节点或节点集。既然要选取节点，那肯定就有选取节点的方式了。

xpath在python中的应用

1. 安装lxml库

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple lxml

2. 导入etree库，

from lxml import  etree
text = '''
<div>
    <ul>
        <li class="item-0"><a href="www.baidu.com">baidu</a>
        <li class="item-1"><a href="https://blog.csdn.net/qq_25343557">myblog</a>
        <li class="item-2"><a href="https://www.csdn.net/">csdn</a>
        <li class="item-3"><a href="https://hao.360.cn/?a1004">hao123</a>
'''
html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('UTF-8'))

3.解析网页

result1=etree.xpath('//*[@herf='www.baidu.com']')
print(result1)

xpath选取节点方法（语法）

1. 最有用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
. .	选取当前节点的父节点。
@	选取属性。
*	匹配任何元素节点
//*	选取文档中的所有元素

比较常用到的路径表达式有：
//*[@元素属性=某某] #选取所有元素下元素属性为某某的节点下的信息。
/bookstore/book/title | //price #选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

2.xpath轴，资料的说法是这样的：轴可定义相对于当前节点的节点集。按我的理解来说就是轴相当于就是一根红线，告诉你到此为止了。就是到现在这个节点可以了，够了。
常见的轴有:

轴名称	结果
ancestor	选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self	选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute	选取当前节点的所有属性。
child	选取当前节点的所有子元素。
descendant	选取当前节点的所有后代元素（子、孙等）。
descendant-or-self	选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following	选取文档中当前节点的结束标签之后的所有节点。
following-sibling	选取当前节点之后的所有兄弟节点
namespace	选取当前节点的所有命名空间节点。
parent	选取当前节点的父节点。
preceding	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling	选取当前节点之前的所有同级节点。
self	选取当前节点。

我举一个使用例子：

//zly/parent::*       #选取zly节点的所有父节点。

3.xpath可返回节点集、字符串、逻辑值以及数字。

xpath学习总结

xpath的使用要注意的就是路径节点的选取，节点选取的对不对关系着你能否获取到你想要的的信息。这就需要平时多多的运用，只有平时对xpath解析网页的多多使用，才能在有需要的时候能够快速的应用上去。