【数据提取】xml html数据提取—— xpath

1 xml & html

XML 指可扩展标记语言（eXtensible Markup Language），被设计用来传输和存储数据。
HTML 超文本标记语言（HyperText Markup Language）是一种用于创建网页的标准标记语言。

1.1 html和xml的区别

数据格式	描述	设计目标
XML	可扩展标记语言（eXtensible Markup Language）	被设计为传输和存储数据，其焦点是数据的内容
HTML	超文本标记语言（HyperText Markup Language）	显示数据

1.2 xml的树结构

<bookstore>
	<book category="COOKING">
		<title lang="en">Everyday Italian</title>
		<author>Giada De Laurentiis</author>
		<year>2005</year>
		<price>30.00</price>
	</book>
	<book category="CHILDREN">
		<title lang="en">Harry Potter</title>
		<author>J K. Rowling</author>
		<year>2005</year>
		<price>29.99</price> 
	</book>
	<book category="WEB">
		<title lang="en">Learning XML</title>
		<author>Erik T. Ray</author>
		<year>2003</year>
		<price>39.95</price> 
	</book>
</bookstore>

上面的xml内容可以表示为下面的树结构

上面的这种结构关系在xpath被进一步细化

2 xpath & lxml

lxml是一款高性能的 Python HTML/XML 解析器，可以利用XPath，来快速的定位特定元素以及获取节点信息

XPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言，可用来在 HTML\XML 文档中对元素和属性进行遍历。

2.1 xpath的节点关系

xpath中的节点是什么
每个XML的标签我们都称之为节点，其中最顶层的节点称为根节点。

xpath中节点选择的工具
Chrome插件 —— XPath Helper
Firefox插件 —— XPath Checker
注意： 这些工具是用来学习xpath语法的，都是从elements中匹配数据，elements中的数据和url地址对应的响应不相同，所以在代码中，不建议使用这些工具进行数据的提取

2.2 xpath语法

例子中使用以下的XML 文档

<bookstore>
	<book>
		<title lang="eng">Harry Potter</title>
		<price>29.99</price>
	</book>
	<book>
		<title lang="eng">Learning XML</title>
		<price>39.95</price>
	</book>
</bookstore>

2.2.1 选取节点

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。
使用chrome插件选择标签时候，选中时，选中的标签会添加属性class="xh-highlight"
表达式说明

表达式	描述
nodename	选中该元素
/	从根节点选取、或者是元素和元素间的过渡
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
.	选取当前节点
…	选取当前节点的父节点
@	选取属性
text()	选取文本

例子：路径表达式以及表达式的结果

路径表达式	结果
bookstore	选择bookstore元素
/bookstore	选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素
//book	选取所有 book 子元素，而不管它们在文档中的位置
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置
//book/title/@lang	选择所有的book下面的title中的lang属性的值
//book/title/text()	选择所有的book下面的title的文本

2.2.2 查找特定的节点

路径表达式	结果
//title[@lang=“eng”]	选择lang属性值为eng的所有title元素
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()>1]	选择bookstore下面的book元素，从第二个开始选择
//book/title[text()=‘Harry Potter’]	选择所有book下的title元素，仅仅选择文本为Harry Potter的title元素
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

注意点: 在xpath中，第一个元素的位置是1，最后一个元素的位置是last(),倒数第二个是last()-1

2.2.3 选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符	描述
*	匹配任何元素节点
@*	匹配任何属性节点
node()	匹配任何类型的节点

例子：路径表达式及结果

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素
//*	选取文档中的所有元素
//title[@*]	选取所有带有属性的 title 元素

2.2.4 选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

例子：路径表达式及结果：

路径表达式	结果
//book/title | //book/price	选取 book 元素的所有 title 和 price 元素
//title | //price	选取文档中的所有 title 和 price 元素
/bookstore/book/title | //price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素