Xpath和lxml技术文档
Xpath的用处
XPath是专门针对xml设计的,在复杂结构化数据中查找信息的语言。简单来说,就是利用一条路径表达式,找到我们需要的数据位置。
html可以看做不标准的xml,在html中也能使用XPath查找数据。
Xpath的介绍
xpath可以用来在XML文档中对元素和属性进行遍历。
在 xpath 中,所有事物都是节点。共有七种类型的节点:
- 元素节点 : 元素是由从开始标签到结束标签的所有代码
- 属性节点 : 每一个元素节点有一个相关联的属性节点集合
- 文本节点 : 文本节点包含了一组字符数据,即cdata中包含的字符
- 命名空间节点 : 每一个元素节点都有一个相关的命名空间节点集
- 处理指令节点 : 处理指令节点对应于XML文档中的每一条处理指令
- 注释节点 : 注释节点对应于文档中的注释
- 文档(根)节点 : 根节点是节点树的最上层,根节点是唯一的
★ XPath可以用来选择这7种节点,但今天只涉及最常用的元素节点。因此,可以将下文中的节点和元素视为同义词。
节点关系
- 父(Parent) 每个元素以及属性都有一个父
- 子(Children) 元素节点可有零个、一个或多个子
- 兄弟(Sibling) 拥有相同的父的节点
- 先辈(Ancestor) 某节点的父、父的父,等等
- 后代(Descendant) 某个节点的子,子的子,等等
Xpath的语法介绍
1)选取节点常用的路径表达式
- / 从根节点选取
- // 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置
- . 选取当前节点
- @选取属性
2)谓语
为路径表达式的附加条件,对节点进行进一步的筛选,被镶嵌在[ ]中
常用的Xpath函数
- text(): 文本定位位置,精确匹配 – text()=’’
- contains(): 判断字符串的一部分,模糊匹配 – contains(text(),’’) contains(@class,’’)
- starts/ends-with: 匹配一个字符串开始/结束位置的关键字 – starts/ends-with(@class,’’)
- position(): 表示节点的序号 – position()=1 position()>2
- last() : 最后一个节点 – last()
- and/or : and 与 ; or 或 – a[@class and @href] a[@class or @href]
- not() : 表示否定 – a[not(@class)]
3)通配符 - 匹配任何元素节点@*的任何属性
- //* 选择文档中的所有元素节点
- //ul/* 选择ul元素的所有子节点
- //a[@*] 选择所有带有属性的a节点
4)运算符 - | 可以选取多个并列的路径
- 例如://a[@tppabs]|//a[@class] 选择所有具有tppabs属性的a标签或具有class属性的a标签
xml文档的示例
<?xml version="1.0" encoding="ISO-8859-1"?>
<bookstore>
<book>
<title lang="en">Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>
<bookstore> # 文档节点
<book> # 元素节点,属于<bookstore>的子节点
<title>/<author>/<year>/<price> # 元素节点,属于<book>节点的子节点
<title lang="en">Harry Potter</title>
lang # 属性节点,是<title>节点的属性
Harry Potter # 文本节点,是<title>节点的文本
Xpath的书写示例
路径表达式 | 结果 |
---|---|
/bookstore/book[1] | 选取属于bookstore子元素的第一个book元素 |
/bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素 |
/bookstore/book[position()<4] | 选取最前面的三个属于 bookstore 元素的子元素的 book 元素 |
/bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素 |
//title[@lang] | 选取所有拥有名为lang属性的title元素 |
//title[@lang=’en’] | 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性 |
/bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00 |
/bookstore/book[price>35.00]/title | 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于35.00 |
选取若干节点
Xpath的通配符可以解决选取未知的XML元素的问题
路径表达式 | 结果 |
---|---|
//book/title | //book/price | 选取 book 元素的所有 title 和 price 元素 |
//title | // price | 选取文档中的所有 title 和 price 元素 |
/bookstore/book/title | //price | 选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素 |
lxml库
lxml库的