一、简介
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。
二、安装
pip3 install lxml
三、使用
选取节点
常用的路径表达式
nodename(表达式、)
选取nodename节点的所有子节点 (描述)
xpath(‘//div’) 选取了div节点的所有子节点(实例)
/
从根节点选取
xpath(‘/div’) 从根节点上选取div节点
//
选取所有的当前节点,不考虑他们的位置
xpath(‘//div’)选取所有的div节点
.
选取当前节点
xpath(‘./div’) 选取当前节点下的div节点
..
选取当前节点的父节点
xpath(‘..’)回到上一个节点
@
选取属性
xpath(’//@calss’)选取所有的class属性
谓词:被嵌在方括号内,用来查找某个特定的节点或包含某个制定的值的节点
xpath(‘/body/div[1]’) 选取body下的第一个div节点
xpath(‘/body/div[last()]’) 选取body下最后一个div节点
xpath(‘/body/div[last()-1]’) 选取body下倒数第二个div节点
xpath(‘/body/div[positon()<3]’) 选取body下前两个div节点
xpath(‘/body/div[@class]’) 选取body下带有class属性的div节点
xpath(‘/body/div[@class=”main”]’) 选取body下class属性为main的div节点
xpath(‘/body/div[price>35.00]’) 选取body下price元素值大于35的div节点
通配符:Xpath通过通配符来选取未知的XML元素
xpath(’/div/*’) 选取div下的所有子节点
xpath(‘/div[@*]’) 选取所有带属性的div节点
取多个路径:使用“ | 运算符可以选取多个路径
xpath(‘//div|//table’) 选取所有的div和table节点
功能函数:使用功能函数能够更好的进行模糊搜索
starts-with
xpath(‘//div[starts-with(@id,”ma”)]‘) 选取id值以ma开头的div节点
contains
xpath(‘//div[contains(@id,”ma”)]‘) 选取id值包含ma的div节点
and
xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) 选取id值包含ma和in的div节点
text()
xpath(‘//div[contains(text(),”ma”)]‘) 选取节点文本包含ma的div节点
常用函数:
精确定位
contains(str1,str2)用来判断str1是否包含str2
例1://*[contains(@class,'c-summaryc-row ')]选择@class值中包含c-summary c-row的节点
例2://div[contains(.//text(),'价格')]选择text()中包含价格的div节点
position()选择当前的第几个节点
例1://*[@class='result'][position()=1]选择@class='result'的第一个节点
例2://*[@class='result'][position()<=2]选择@class='result'的前两个节点
last()选择当前的倒数第几个节点
例1://*[@class='result'][last()]选择@class='result'的最后一个节点
例2://*[@class='result'][last()-1]选择@class='result'的倒数第二个节点
following-sibling 选取当前节点之后的所有同级节点
例1://div[@class='result']/following-sibling::div选择@class='result'的div节点后所有同级div节点找到多个节点时可通过- position确定第几个如://div[@class='result']/following-sibling::div[position()=1]
preceding-sibling 选取当前节点之前的所有同级节点
使用方法同following-sibling
过滤信息
substring-before(str1,str2)用于返回字符串str1中位于第一个str2之前的部分
例子:substring-before(.//*[@class='c-more_link']/text(),'条')
返回.//*[@class='c-more_link']/text()中第一个'条'前面的部分,如果不存在'条',则返回空值
substring-after(str1,str2)跟substring-before类似,返回字符串str1中位于第一个str2之后的部分
例1:substring-after(.//*[@class='c-more_link']/text(),'条')
返回.//*[@class='c-more_link']/text()中第一个’条’后面的部分,如果不存在'条',则返回空值
例2:substring-after(substring-before(.//*[@class='c-more_link']/text(),'新闻'),'条')
返回.//*[@class='c-more_link']/text()中第一个'新闻'前面与第一个'条'后面之间的部分
normalize-space()用来将一个字符串的头部和尾部的空白字符删除,如果字符串中间含有多个连续的空白字符,将用一个空格来代替
例子:normalize-space(.//*[contains(@class,'c-summaryc-row ')])
translate(string,str1,str2)假如string中的字符在str1中有出现,那么替换为str1对应str2的同一位置的字符,假如str2这个位置取不到字符则删除string的该字符
例子:translate('12:30','03','54')结果:'12:45'
拼接信息
四、使用案例
(1)读取html
from lxml import etree
wb_data = """
"""
html = etree.HTML(wb_data)
print(html)
result = etree.tostring(html)
print(result.decode("utf-8"))
从下面的结果来看,我们打印机html其实就是一个python对象,etree.tostring(html)则是不全里html的基本写法,补全了缺胳膊少腿的标签。
(2)打开读取html文件
#使用parse打开html的文件
html = etree.parse('test.html',etree.HTMLParser())
html_data = html.xpath('//*')
#打印是一个列表,需要遍历
print(html_data)
for i in html_data:
print(i.text)
html = etree.parse('test.html', etree.HTMLParser())
html_data = etree.tostring(html,pretty_print=True)
res = html_data.decode('utf-8')
print(res)
打印:
(3)获取某个标签的内容(基本使用),注意,获取a标签的所有内容,a后面就不用再加正斜杠,否则报错。
写法一:
html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a')
print(html)
for i in html_data:
print(i.text)
first item
second item
third item
fourth item
fifth item
写法二:直接在需要查找内容的标签后面加一个/text()就行
html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a/text()')
print(html)
for i in html_data:
print(i)
first item
second item
third item
fourth item
fifth item
(4)打印指定路径下a标签的属性(可以通过遍历拿到某个属性的值,查找标签的内容)
html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a/@href')
for i in html_data:
print(i)
打印:
link1.html
link2.html
link3.html
link4.html
link5.html
(5)使用xpath拿到得都是一个个的ElementTree对象,所以如果需要查找内容的话,还需要遍历拿到数据的列表。
html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a[@href="link2.html"]/text()')
print(html_data)
for i in html_data:
print(i)
打印:
['second item']
second item
(6)上面我们找到全部都是绝对路径(每一个都是从根开始查找),下面我们查找相对路径,例如,查找所有li标签下的a标签内容。
html = etree.HTML(wb_data)
html_data = html.xpath('//li/a/text()')
print(html_data)
for i in html_data:
print(i)
打印:
['first item', 'second item', 'third item', 'fourth item', 'fifth item']
first item
second item
third item
fourth item
fifth item
(7)上面我们使用绝对路径,查找了所有a标签的属性等于href属性值,利用的是/---绝对路径,下面我们使用相对路径,查找一下l相对路径下li标签下的a标签下的href属性的值,注意,a标签后面需要双//。
html = etree.HTML(wb_data)
html_data = html.xpath('//li/a//@href')
print(html_data)
for i in html_data:
print(i)
打印:
['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']
link1.html
link2.html
link3.html
link4.html
link5.html
(8)查找最后一个li标签里的a标签的href属性
html = etree.HTML(wb_data)
html_data = html.xpath('//li[last()]/a/text()')
print(html_data)
for i in html_data:
print(i)
打印:
['fifth item']
fifth item
(9)查找倒数第二个li标签里的a标签的href属性
html = etree.HTML(wb_data)
html_data = html.xpath('//li[last()-1]/a/text()')
print(html_data)
for i in html_data:
print(i)
打印:
['fourth item']
fourth item
来源:oschina
链接:https://my.oschina.net/u/3696975/blog/4301741