1. 什么是xpath
xml是用来存储和传输数据的,和html的不同有两点:
- html用来显示数据,xml用来传输数据
- html的标签是固定的,xml标签是可以自定义的
(二者写法、结构基本相同,所以xpath能在html中搜索内容)
Xpath是一门在XML文档中查找信息的语言,是一种路径表达式。
主要用的节点:元素、属性、文本。
常用的路径表达式:
// 不考虑位置,从匹配选择的当前节点选择文档中的节点
./ 从当前节点开始往下查找
../ 从当前节点的父节点查找
@ 选择属性
选择实例:
/bookstore/book:选择节点bookstore下的book(直接子节点)
//book : 所有book
bookstore//book :查找bookstore下面所有的book(不管是不是子节点)
//@lang :选取名为lang的节点
/bookstore/book[1] :bookstore下的第一个book(直接子节点)
/bookstore/book[last()] :bookstore下的最后一个book(最后一个子节点)
/bookstore/book[position()<3] :提取前两个
//title[@lang='eng'] :查找带有lang属性的title,属性值还需要为eng
* 任何元素节点
2. Xpath插件
Xpath使用神器!
下载Xpath Helper插件,安装在Chrome浏览器扩展程序内,即可使用。
(好多大神们有介绍插件安装使用,这里略过)
2.1 定位方式
(1)层级和索引定位:
1. 属性定位: //input[@id="kw"]
或者 //input[@class="btn self-btn bg s_btn"]
2. 层级+属性+索引定位: //div[@id="head_wrapper"]/div/div[1]/a
(这里索引从1而不是0开始,例子只是为了展示索引应用)
3. 灵活使用双斜杠//,代表节点下所有的节点,不管位置!
(2)逻辑运算
一般使用and,限制两个属性,找相应节点
(3)模糊匹配
contains :
//input[contains(@class,'s_i')]
表示选择所有input,有class属性,并带有s_i
starts-with :
//input[starts-with(@class,'s')]
表示选择所有input,有class属性,并以s开头
2.2 取文本
//div[@id="s-top-left"]/a[5]/text() 获取节点内容
//div[@id='ul']//text() 获取节点里面不带标签的所有内容
2.3 取属性
//div[@id="s-top-left"]/a[5]/@href
3. 初始化
可被解析的有字符串(string)和html文件(filename.html)
3.1 字符串
以下面一段html为例:
res = '''
<div class="info">
<div class="hd">
<a href="https://movie.douban.com/subject/1316510/" class="">
<span class="title">张三李四</span>
<span class="title"> / 王五赵六</span>
<span class="other class-1" name="item"> / 钱包 / 口袋</span>
</a>
<span class="playable">[可]</span>
</div></div>
'''
调用HTML方法初始化字符串(string):
from lxml import etree
html=etree.HTML(res) #调用HTML方法初始化字符串(string)
#html=etree.tostring(html) #调用tostring()方法可补全未闭合的标签
#print(html.decode('utf-8')) #以字符串的格式打印
查找文本内容:
spans=html.xpath('//span')
for span in spans:
print(span.text)
3.2 html文件
文件导入即可
from lxml import etree
html=etree.parse('text.html',etree.HTMLParser())#调用parse()方法实例化文件
result=html.xpath('匹配规则')