xpath使用笔记

xpath学习笔记

xpath简介

1. xpath 用于在XML文档中通过元素和属性进行导航
2. xpath 使用路径表达式来选取 XML 或 HTML 中的节点或者节点集。

xpath 节点

1. 在 xpath 中 有七种类型的节点：

• 元素
• 属性
• 文本
• 命名空间
• 处理指令
• 注释
• 文档根节点

2. 节点关系

• 父级
• 子级
• 同辈级
• 先辈级
• 后代级

xpath 语法

表达式	描述	语法示例
nodename	选取此节点的所有子节点,用户选取标签名	book
/	从根节点选取	/book
//	从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置	//price 选择任意位置的 price 标签
.	选取当前节点	--
..	选取当前节点的父节点	--
@	选取属性	//@lang 选择lang标签的所有属性
[n]	选取属于某元素下的第n个子元素,索引从1开始	/bookstore/book[2]
[last()]	选取属于某个元素的最后一个元素	/book[last()] last() 当作函数理解
[last()-1]	选取属于某个元素的最后一个元素	/book[last()-1]
[position()]	做元素定位使用	/book[position()<3 选择最前面两个的book元素]
[@lang]	选择有属性为lang的元素	//book[@lang] 选择有lang属性的book标签
[@class=""]	选择class属性为某个值的元素	//div[@class="item"] 选择类名为item的div标签
*	匹配任何元素节点	--
@*	匹配任何属性节点	--
|	表示"或"	//bookstore/book/title|//bookstore/book/price 表示匹配文章中 bookstore 下 book 标签下的 title 或这 price 标签

语法示例：

from lxml import etree

html = '''
<bookstore> 
  <book price="100" category="cooking"> 
    <title lang="en">Everyday Italian</title>  
    <author>Giada De Laurentiis</author>  
    <year>2005</year>  
    <price>30.00</price> 
  </book>  

  <book category="children"> 
    <title lang="cn">Harry Potter</title>  
    <author>J K. Rowling</author>  
    <year>2005</year>  
    <price>29.99</price> 
  </book>  

  <book category="web"> 
    <title category="web">XQuery Kick Start</title>  
    <author>James McGovern</author>  
    <author>Per Bothner</author>  
    <author>Kurt Cagle</author>  
    <author>James Linn</author>  
    <author>Vaidyanathan Nagarajan</author>  
    <year>2003</year>  
    <price>49.99</price> 
  </book> 

  <book category="web" cover="paperback" price="100"> 
    <title>Learning XML</title>  
    <author>Erik T. Ray</author>  
    <year>2003</year>  
    <price>39.95</price> 
  </book> 

</bookstore>

'''
# 将字符串转为html对象
html = etree.HTML(html)


# 获取bookstore下book标签的title标签
res = html.xpath('//bookstore/book/title')
print(res)
# 返回值（列表中是对象）：[<Element title at 0x25c54df7388>, <Element title at 0x25c54df73c8>, <Element title at 0x25c54df7448>, <Element title at 0x25c54df7488>]

# 获取bookstore下book标签的title标签中category属性值为“web”
res = html.xpath('//bookstore/book/title[@category="web"]')
print(res)
# 返回值（列表中是对象）：[<Element title at 0x1f0ec727388>]

# 获取bookstore下book标签的title标签中category属性值为“web”的标签的值
res = html.xpath('//bookstore/book/title[@category="web"]/text()')
print(res)
# 返回值（列表中是字符串）：['XQuery Kick Start']

# 获取bookstore下book的price属性为100的标签下的title()标签的值
res = html.xpath('//bookstore/book[@price="100"]/title/text()')
print(res)
# 返回值（列表中的是字符串）：['Everyday Italian', 'Learning XML']

# 获取bookstore 下book下第1个标签的所有属性 [1]:表示选择第几个标签 @*：表示选择所有的属性
res = html.xpath('//bookstore/book[1]/@*')
print(res)
# 返回值（列表中是字符串）

# 获取bookstore 下book带有任意属性的标签
res = html.xpath('//bookstore/book[@*]')
print(res)
# 返回值 (列表中的是对象)：[<Element book at 0x17a7fb47388>, <Element book at 0x17a7fb473c8>, <Element book at 0x17a7fb47448>, <Element book at 0x17a7fb47488>]

# 获取带有属性的title元素的值
res = html.xpath('//title[@*]/text()')
print(res)
# 返回值（列表中的是字符串）：['Everyday Italian', 'Harry Potter', 'XQuery Kick Start']

# 获取book下的 title 和 price 标签
res = html.xpath('//book/title | //book/price')
print(res)
# 返回值：（列表中的是对象）：[<Element title at 0x256dc8773c8>, <Element price at 0x256dc877448>, <Element title at 0x256dc877488>, <Element price at 0x256dc8774c8>, <Element title at 0x256dc877508>, <Element price at 0x256dc877548>, <Element title at 0x256dc877588>, <Element price at 0x256dc8775c8>]

# 获取book有category或price属性的值
res = html.xpath('//book/@category | //book/@price')
print(res)
# 返回值 （列表中的是字符串）：['100', 'cooking', 'children', 'web', 'web', '100']

补充：

• items.xpath('.//div[starts-with(@class, "item")]')
  表示div的 class 属性以 item 开头