XPath 是一门在 XML 文档中查找信息的语言。
XPath 用于在 XML 文档中通过元素和属性进行导航。
XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。
通过在路径表达式中使用“|”运算符,您可以选取若干个路径。
最常用的路径表达式:
表达式 | 描述 |
---|---|
nodename | 选取此节点的所有子节点 |
/ | 从根节点选取 |
// | 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置 |
. | 选取当前节点 |
… | 选取当前节点的父结点 |
@ | 选取属性 |
- 实例
路径表达式 | 结果 |
---|---|
bookstore | 选取 bookstore 元素的所有子节点。 |
bookstore/ book | 选取属于 bookstore 的子元素的所有 book 元素。 |
//book | 选取所有 book 子元素,而不管它们在文档中的位置。 |
bookstore// book | 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。 |
//@lang | 选取名为 lang 的所有属性。 |
谓语
谓语用来查找某个特定的节点或者包含某个指定的值的节点。
谓语被嵌在方括号中。
- 实例
路径表达式 | 结果 |
---|---|
bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
bookstore/ book[last()] | 选取属于 bookstore 的子元素的最后一个 book 元素。 |
bookstore/ book[last()-1] | 选取属于 bookstore 的子元素的倒数第2个 book 元素。 |
bookstore/ book[position() < 3] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
//title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素。 |
//title[@lang=‘eng’] | 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。 |
/bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。 |
/bookstore/book[price>35.00] /title | 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。 |
选取未知节点
通配符 | 描述 |
---|---|
* | 匹配任何元素节点。 |
@* | 匹配任何属性节点。 |
node() | 匹配任何类型的节点。 |
- 实例
路径表达式 | 结果 |
---|---|
bookstore/* | 选取属于 bookstore的所有子元素 |
//* | 选取文档中的所有元素。 |
//title[@*] | 选取所有带有属性的 title 元素。 |
XPath 轴
轴可定义相对于当前节点的节点集。
轴名称 | 结果 |
---|---|
ancestor | 选取当前节点的所有先辈(父、祖父等)。 |
ancestor-or-self | 选取当前节点的所有先辈(父、祖父等)以及当前节点本身。 |
attribute | 选取当前节点的所有属性。 |
child | 选取当前节点的所有子元素。 |
descendant | 选取当前节点的所有后代元素(子、孙等)。 |
escendant-or-self | 选取当前节点的所有后代元素(子、孙等)以及当前节点本身。 |
following | 选取文档中当前节点的结束标签之后的所有节点。 |
namespace | 选取当前节点的所有命名空间节点。 |
parent | 选取当前节点的父节点。 |
preceding | 选取文档中当前节点的开始标签之前的所有节点。 |
preceding-sibling | 选取当前节点之前的所有同级节点。 |
self | 选取当前节点。 |
语法:轴名称::节点测试[谓语]
- 实例
例子 | 结果 |
---|---|
child::book | 选取所有属于当前节点的子元素的 book 节点。 |
attribute::lang | 选取当前节点的 lang 属性。 |
child:: * | 选取当前节点的所有子元素。 |
attribute:: * | 选取当前节点的所有属性。 |
child :: text() | 选取当前节点的所有文本子节点。 |
child::node() | 选取当前节点的所有子节点。 |
descendant::book | 选取当前节点的所有 book 后代 |
ancestor::book | 选择当前节点的所有 book 先辈。 |
ancestor-or-self::book | 选取当前节点的所有 book 先辈以及当前节点(如果此节点是 book 节点) |
child:: * /child::price | 选取当前节点的所有 price 孙节点。 |
功能函数
函数 | 用法 | 解释 |
---|---|---|
starts-with | //div[starts-with(@id,”ma”)] | 选取id值以ma开头的div节点 |
contains | //div[contains(@id,”ma”)] | 选取所有id值包含ma的div节点 |
and | //div[contains(@id,”ma”) and contains(@id,”in”)] | 选取id值包含ma和in的div节点 |
text() | //div[contains(text(),”ma”)] | 选取节点文本包含ma的div节点 |
xpath在scrapy,spider提取元素及属性定位的应用
最基本的extract()函数,extract_first()
movie_list = response.xpath("//div[@class='article']//ol[@class='grid_view']//li")
for i_item in movie_list:
douban_item = DoubanItem()
# 进行数据解析
douban_item['serial_number'] = i_item.xpath(".//div[@class='item']//em/text()").extract_first()
douban_item['movie_name'] = i_item.xpath(".//div[@class='info']/div[@class='hd']/a/span[1]/text()").extract_first()
content = i_item.xpath(".//div[@class='info']/div[@class='bd']/p[1]/text()").extract()
xpath在python中的应用
from lxml import html
etree = html.etree
html = etree.HTML(text, etree.HTMLParser())
result = html.xpath("//li/a/text()")
参考来源:
XPath教程
Scrapy元素选择器Xpath用法汇总
python爬虫:scrapy框架xpath和css选择器语法