Python爬虫初探（五）——爬虫之xpath与lxml库的使用

一、xpath介绍
二、xpath的使用

一、xpath介绍

1.基本概念

XPath（XML Path Language）是一种XML的查询语言，它能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航。xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。
其中，lxml是python中的一个包，这个包中包含了将html文本转成xml对象，和对对象执行xpath的功能。

2.节点的关系

xml_content = '''
<bookstore>
<book>
    <title lang='eng'>Harry Potter</title>
    <author>J.K.Rowing</author>
    <year>2005</year>
    <price>29<price>
</book>
</bookstore>
'''

父(Parent) 元素：book是title、author、year、price元素的父
子(Children)元素： title、author、year、price都是book元素的子
同胞(Sibling) 元素：title、author、year、price都是同胞
先辈(Ancestor) 元素：title元素的先辈是 book元素和bookstore元素

二、xpath的使用

首先我们需要进行工具安装，谷歌浏览器用的是插件XPath Helper，火狐浏览器用的是插件XPath Checker。这个是 安装参考网站

1.节点选择语法

下面是常用的节点选择语法

表达式	描述
/	从根节点选取
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
.	选取当前节点
…	选取当前节点的父节点
@	选取

以上面的例子为例，查找某个特定的节点或者包含某个指定的值的节点

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。