xpath进行数据解析基础教程

最新推荐文章于 2023-01-13 09:26:26 发布

王蒟蒻

最新推荐文章于 2023-01-13 09:26:26 发布

阅读量667

点赞数 2

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_41413511/article/details/118559343

版权

爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

源数据

<html lang="en">
<head>
	<meta charset="UTF-8" />
	<title>测试bs4</title>
</head>
<body>
	<div>
		<p>百里守约</p>
	</div>
	<div class="song">
		<p>李清照</p>
		<p>王安石</p>
		<p>苏轼</p>
		<p>柳宗元</p>
		<a href="http://www.song.com/" title="赵匡胤" target="_self">
			<span>this is span</span>
		宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
		<a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
		<img src="http://www.baidu.com/meinv.jpg" alt="" />
	</div>
	<div class="tang">
		<ul>
			<li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
			<li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
			<li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
			<li><a href="http://www.sina.com" class="du">杜甫</a></li>
			<li><a href="http://www.dudu.com" class="du">杜牧</a></li>
			<li><b>杜小月</b></li>
			<li><i>度蜜月</i></li>
			<li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
		</ul>
	</div>
</body>
</html>

from lxml import etree
tree = etree.parse('C:/Users/axyzw/Downloads/爬虫课件/第三章：数据解析./test.html')

# /:表示的是从根节点开始定位。表示的是一个层级。
r = tree.xpath('/html/body/div')
print(r)#显示三个div标签

[<Element div at 0x1d7e7f61a80>, <Element div at 0x1d7e7f61ac0>, <Element div at 0x1d7e7f61b00>]

#//:表示的是多个层级。可以表示从任意位置开始定位。
r = tree.xpath('/html//div')
print(r)

[<Element div at 0x1d7e7f61a80>, <Element div at 0x1d7e7f61ac0>, <Element div at 0x1d7e7f61b00>]

r = tree.xpath('//div')
print(r)

[<Element div at 0x1d7e7f61a80>, <Element div at 0x1d7e7f61ac0>, <Element div at 0x1d7e7f61b00>]

# 属性定位：//div[@class='song'] tag[@attrName="attrValue"]
# div有三个 获取属性为宋的div
r = tree.xpath('//div[@class="song"]')
print(r)

[<Element div at 0x1d7e7f61ac0>]

#索引定位：//div[@class="song"]/p[3] 索引是从1开始的。
#获取的是宋div下的第三个P标签
r = tree.xpath('//div[@class="song"]/p[3]')
print(r)

[<Element p at 0x1d7e7f68400>]

#获取文本，返回的是一个list
r = tree.xpath('//div[@class="tang"]//li[5]/a/text()')
print(r)

['杜牧']

#获取字符串
r = tree.xpath('//div[@class="tang"]//li[5]/a/text()')[0]
print(r)

杜牧

#/text() 获取的是标签中直系的文本内容
# 无直系内容  所以返回空值
r = tree.xpath('//li[7]/text()')
print(r)

[]

#//text() 标签中非直系的文本内容（所有的文本内容）
r = tree.xpath('//li[7]//text()')
print(r)

['度蜜月']

#取属性：
#        /@attrName     ==>img/src
r = tree.xpath('//div[@class="song"]/img/@src')
print(r)

['http://www.baidu.com/meinv.jpg']

王蒟蒻

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
xpath进行数据解析基础教程

源数据<html lang="en"><head> <meta charset="UTF-8" /> <title>测试bs4</title></head><body> <div> <p>百里守约</p> </div> <div class="song"> <p>李清照</p> <p>王安石</
复制链接

扫一扫