1、什么是XPATH?
XPATH(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历。
2、XPATH开发者工具
Chrome插件Xpath Helper。
Firefox插件Try XPath。
3、XPATH节点
在Xpath中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML文档是被作为节点树来对待的。树的根被成为文档节点或者根节点。
4、使用方法
使用方式:
符号 含义
/ 表示的是从根节点开始定位。表示的是一个层级。
// 表示的是多个层级。可以表示从任意位置开始定位。
使用//获取整个页面当中的元素,然后写标签名,再写谓语进行提取,例如:
/html/div
//div[1]
需要注意的知识点:
谓语中下标是从1开始的,不是从0开始的。
contains:有时候某个属性有多个值,那么可以使用contains函数,示例如下:
//iframe[(@id=“xh-bar”)]
5、再lxml中使用Xpath语法
from lxml import etree
html = etree.parse('hello.html')
# 获取所有li标签:
result = html.xpath('//li')
print(result)
for i in result:
print(etree.tostring(i))
# 获取所有li元素下的所有class属性的值:
# result = html.xpath('//li/@class')
# print(result)
# 获取li标签下href为www.baidu.com的a标签:
# result = html.xpath('//li/a[@href="www.baidu.com"]')
# print(result)
# 获取li标签下所有span标签:
# result = html.xpath('//li//span')
# print(result)
# 获取li标签下的a标签里的所有class:
# result = html.xpath('//li/a//@class')
# print(result)
# 获取最后一个li的a的href属性对应的值:
# result = html.xpath('//li[last()]/a/@href')
# print(result)
# 获取倒数第二个li元素的内容:
# result = html.xpath('//li[last()-1]/a')
# print(result)
# print(result[0].text)
# 获取倒数第二个li元素的内容的第二种方式:
result = html.xpath('//li[last()-1]/a/text()')
print(result)