xpath概述
💥xpath解析原理:
1、实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中
2、调用etree对象中的xpath方法,结合这xpath表达式实现标签定位和内容的捕获
💦如何实例化一个etree对象:from lxml import etree
1、将本地的html文档中的源码数据加载到etree对象中:
etree.parse(filePath)
2、也可以将从互联网上获取的源码数据加载到该对象中
etree.HTML(‘page_text’)
xpath定位
获取文本:
//标签1[@属性1="属性值1"]/标签2[@属性2="属性值2"]/……/text()
#返回结果为列表
获取属性值:
//标签1[@属性1="属性值1"]/标签2[@属性2="属性值2"]/……/@属性n
#返回结果为列表
[@属性="属性值"]不是必须的,它的作用是帮助过滤相同的标签
/表示一个层级,也表示根节点
//表示可以跨过多个层级
这里拿我很久以前写的一个html文件做下简单的示例
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Document</title>
<link rel="stylesheet" href="style.css">
</head>
<body>
<div class="all">
<div class="header_content">
<div class="logo">
<a href="#">
<image src="images/微软.svg" height=54px width=137px>
</a>
</div>
<div class="nav">
<ul class="nav_left">
<li><a href="#">Microsoft365</a></li>
<li><a href="#">Office</a></li>
<li><a href="#">Windows</a></li>
<li><a href="#">Surface</a></li>
<li><a href="#">Xbox</a></li>
<li><a href="#">优惠</a></li>
<li><a href="#">支持</a></li>
<li class="nav_right"><a href="#">所有Microsoft</a></li>
</ul>
</div>
</div>
</div>
</body>
</html>
from lxml import etree
if __name__=="__main__":
tree=etree.parse('exam.html')
r0=tree.xpath('//ul/li/a/text()')
r1=tree.xpath('//ul/li//text()') # //跨越多级
#r0、r1都为['Microsoft365', 'Office', 'Windows', 'Surface', 'Xbox', '优惠', '支持', '所有Microsoft']
r2=tree.xpath('//ul/li[1]//text()')
#返回结果['Microsoft365'] ,注意索引是从1开始的,而不是0
r3=tree.xpath('//div[@class='logo']//image/@src')
#返回结果['images/微软.svg']
r4 = tree.xpath('//div[@class="nav"]//li[1]/a/@href')
#返回结果['#']
一定要看下面的例子,才能更明白,这个部分并不困难。
感谢观看,如果有错误,还望指出。💦
视频学习链接,我是跟着这个视频学习的