Python_Xpath使用

已于 2022-05-27 11:22:48 修改
阅读量214 收藏 3
点赞数
分类专栏： SpiderCrawl 文章标签： python
于 2022-05-26 20:21:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42160053/article/details/124986849
版权

文章目录

Xpath(from lxml import etree)

一些比较好的教程网站分享：
W3School_Xpath教程
菜鸟教程_Xpath语法

1、准备工作
  • 安装：pip install lxml
    lxml安装步骤
  • 搭配的Xpath Helper工具
    下载地址：Xpath_helper 提取码：6666
2、基本使用
  • Xpaht全称 XML路径语言（XML Path Language），可以在XML文档中获取元素或者属性信息。
  • etree.HTML()：将一个简单的字符串转换成<class 'lxml.etree._Element'>对象
  • etree.tostring()：将一个<class 'lxml.etree._Element'>对象转换成字符串并修正HTML代码结构
  • 以下代码是简单的使用案例：
# etree.HTML()：将一个简单的字符串转换成<class 'lxml.etree._Element'>对象
from lxml import etree
text = '<h2>这里是一个测试</h2>'
html = etree.HTML(text)
title = html.xpath('//h2/text()')[0]  # 获取h2标签下的文字
print(title)

# etree.tostring()：将一个<class 'lxml.etree._Element'>对象转换成字符串并修正HTML代码结构
from lxml import etree
text = '<h2>这里是一个测试</h2>'
html = etree.HTML(text)
result = etree.tostring(html, encoding='utf-8')
print(type(result.decode()), result.decode())
html = etree.HTML(result.decode())
print(type(html))
title = html.xpath('//h2/text()')[0]  # 获取h2标签下的文字
print(title)
3、Xpath常用规则
表达式描述
nodename选取此节点的所有子节点
/从根节点选取（取子节点）
//从匹配的节点中选择子节点（不需要考虑位置）
.选取当前节点
. .选取当前节点的父节点
@选取属性
*匹配任何元素节点
@*匹配任何属性节点
node()匹配任何类型的节点
4、Xpath常用实例

更多详细会持续更新，下列所示是我暂时工作中比较常用到的。

  • .xpath(‘//*’)：代表匹配所有节点，返回类型为列表，列表里面每一个元素都是_Element类型。
  • .xpath(‘//li’)：代表匹配当前源代码下所有li节点元素
  • .xpath(‘//li/a’)：代表匹配当前源代码下所有li节点下的a节点元素
  • .xpath(‘//li[@class=“item_2”]’)：代表匹配当前源代码下所有li节点下的class为item_2的节点元素
  • .xpath(‘//li[@class=“item_3”]/a/text()’)：代表匹配当前源代码下所有li节点下的class为item_3的节点元素下的a元素的文本
  • .xpath(‘//li[@class=“item_3”]/a/@href’)：代表匹配当前源代码下所有li节点下的class为item_3的节点元素下的a元素的href属性
  • .xpath(‘//li/p[@id=“p4”]/…/@name’)：代表匹配当前源代码下p节点下的id为p4元素节点的父节点li的class中name属性
  • .xpath(‘//li[contains(@class, “t4”)]/p/text()’)：代表匹配当前源代码下li的class包含t4下的p标签的文本数据
  • .xpath(‘//li[contains(text(), “测试”)]/text()’)：代表匹配当前源代码下li的class=test下的文本数据是否是测试
  • .xpath(‘//li[contains(@class, “t4”) and @name=“n4”]/p/text()’)：代表匹配当前源代码下li的class包含t4并且name=n4下的p元素节点的文本数据
  • .xpath(‘//li[@class=“test”]/text() | //li[@class=“item”]/text()’)：代表匹配当前源代码下li的class=test并且class=item下的文本数据
from lxml import etree

html_text = '''<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Xpath练习实例</title>
</head>
<body>
    <div id="demo">
        <ul>
            <li class="item">demo_test_1</li>
            <li class="item_2">demo_test_2</li>
            <li class="item_3"><a href="https://www.baidu.com">demo_test_3</a></li>
            <li class="t4 item" name="n4"><p id="p4">demo_test_4</p></li>
            <li class="test">测试</li>
        </ul>
    </div>
</body>
</html>'''

html = etree.HTML(html_text)
result = html.xpath('//*')  # 代表匹配当前源代码下的所有节点
print(result)
result = html.xpath('//li')  # 代表匹配当前源代码下所有li节点元素
print(result)
result = html.xpath('//li/a')  # 代表匹配当前源代码下所有li节点下的a节点元素
print(result)
result = html.xpath('//li[@class="item_2"]')  # 代表匹配当前源代码下所有li节点下的class为item_2的节点元素
print(result)
result = html.xpath('//li[@class="item_3"]/a/text()')  # 代表匹配当前源代码下所有li节点下的class为item_3的节点元素下的a元素的文本
print(result)
result = html.xpath('//li[@class="item_3"]/a/@href')  # 代表匹配当前源代码下所有li节点下的class为item_3的节点元素下的a元素的href属性
print(result)
result = html.xpath('//li/p[@id="p4"]/../@name')  # 代表匹配当前源代码下p节点下的id为p4元素节点的父节点li的class中name属性
print(result)
result = html.xpath('//li[contains(@class, "t4")]/p/text()')  # 代表匹配当前源代码下li的class包含t4下的p标签的文本数据
print(result)
result = html.xpath('//li[contains(text(), "测试")]/text()')  # 代表匹配当前源代码下li的class=test下的文本数据是否是测试
print(result)
result = html.xpath('//li[contains(@class, "t4") and @name="n4"]/p/text()')  # 代表匹配当前源代码下li的class包含t4并且name=n4下的p元素节点的文本数据
print(result)
5、Xpath按序选择

Xpath选择大致能分成三大类：正序选择、倒序选择、范围选择

  • 正序选择
    • .xpath(“//li[1]/a/text()”)：选取第一个li节点，中括号中传入数字1即可。注意，这里和代码中不同，序号是以1开头的，不是以0开头的
  • 倒序选择
    • .xpath(“//li[last()]/a/text()”)：选取最后一个li节点，中括号中传入last()即可
    • .xpath(“//li[last()-1]/a/text()”)：选取倒数第二个li节
    • .xpath(“//li[last()-2]/a/text()”)：选取倒数第三个li节
  • 范围选择
    • .xpath(“//li[position()<= 3]/a/text()”)：选择位置小于等于3的li节点
from lxml import etree

html_text = '''<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Xpath练习实例2</title>
</head>
<body>
    <div id="demo">
        <ul>
            <li class="item"><a href="#">demo_test_1</a></li>
            <li class="item_2"><a href="#">demo_test_2</a></li>
            <li class="item_3"><a href="https://www.baidu.com">demo_test_3</a></li>
            <li class="t4 item" name="t4"><a href="#">demo_test_4</a></li>
            <li class="item"><a href="#">测试s</a></li>
        </ul>
    </div>
</body>
</html>'''


html = etree.HTML(html_text)
result = html.xpath("//li[1]/a/text()")  # 选取第一个li节点，中括号中传入数字1即可
print(result)
result = html.xpath("//li[last()]/a/text()")  # 选取最后一个li节点，中括号中传入last()即可
print(result)
result = html.xpath("//li[last()-1]/a/text()")  # 选取倒数第二个li节
print(result)
result = html.xpath("//li[last()-2]/a/text()")  # 选取倒数第三个li节
print(result)
result = html.xpath("//li[position()<= 3]/a/text()")  # 选择位置小于等于3的li节点
print(result)
6、Xpath节点轴选择
  • Xpath还提供了很多节点轴选择方法，例如获取子元素、获取父元素、获取兄弟元素等
  • 有关节点轴的节点集如下：
轴名称结果
ancestor选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute选取当前节点的所有属性。
child选取当前节点的所有子元素。
descendant选取当前节点的所有后代元素（子、孙等）。
descendant-or-self选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following选取文档中当前节点的结束标签之后的所有节点。
following-sibling选取当前节点之后的所有兄弟节点
namespace选取当前节点的所有命名空间节点。
parent选取当前节点的父节点。
preceding选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling选取当前节点之前的所有同级节点。
self选取当前节点。
from lxml import etree

html_text = '''
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Xpath练习实例3</title>
</head>
<body>
    <div id="demo">
        <ul>
            <li class="item"><a href="#"><span>demo_test_1</span></a></li>
            <li class="item_2"><a href="#" id="d2">demo_test_2</a><a href="#">1111</a></li>
            <li class="item_3"><a href="https://www.baidu.com">demo_test_3</a></li>
            <li class="t4 item" name="t4"><a href="#">demo_test_4</a></li>
            <li class="item"><a href="#">测试s</a></li>
        </ul>
    </div>
</body>
</html>'''

html = etree.HTML(html_text)
result = html.xpath('//li[1]/a/span/ancestor::*')  # 调用ancestor获取当前节点的所有父辈，祖先
print(result)
result = html.xpath('//li[1]/a/span/ancestor-or-self::*')  # 调用ancestor-or-self获取当前节点的所有父辈，祖先,包括自己
print(result)
result = html.xpath('//li[1]/a/span/ancestor::div')  # 调用ancestor获取只有div的祖先节点
print(result)
result = html.xpath('//li[last()-1]/attribute::*')  # 调用attribute获取当前节点的所有属性
print(result)
result = html.xpath('//li[2]/child::*')  # 调用child获取当前节点的所有子元素
print(result)
result = html.xpath('//li[2]/child::a[@id="d2"]')  # 调用child获取当前节点的所有子元素中选中的元素
print(result)
result = html.xpath('//li[1]/descendant::*')  # 调用descendant获取当前节点的所有后代元素
print(result)
result = html.xpath('//li[1]/following::*[2]/text()')  # 调用following轴，获取当前节点之后的所有节点，这里我们虽然使用的是*匹配，但又加了索引选择，所以只获取了第二个后续节点
print(result)
result = html.xpath('//li[1]/following-sibling::*')  # 调用following-sibling轴，获取当前节点之后的所有兄弟节点
print(result)
result = html.xpath('//li[1]/namespace::*')  # 调用namespace轴，获取当前节点所有命名空间节点
print(result)
result = html.xpath('//li[1]/parent::*')  # 调用parent轴，获取当前节点的父亲节点
print(result)
result = html.xpath('//li[1]/preceding::*')  # 调用preceding轴，获取Head的所有节点
print(result)
result = html.xpath('//li[3]/preceding-sibling::*')  # 调用preceding-sibling轴，获取当前节点之前的所有同级节点
print(result)
result = html.xpath('//li[last()]/a/self::*/text()')  # 调用self轴，获取当前节点的数据
print(result)

总结

以上便是我觉得xpath技术在实际工作中比较常用的方法，其中可能还会有欠缺，如果在接下来的实际操作中，有用到其他的案例，也会继续在这里进行添加。当然如果文章中有不对的地方，欢迎评论区留言进行指导，我会及时更改。

Ax阿轩
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2.爬虫之xpath选择器&selenium模块
清风
07-09 1319
1.2 选取节点表达式 1. 查找所有节点 2. 指定节点 3. 子节点 4. 子孙节点 5. 父节点 6. 祖先节点 7. 属性匹配 8. 文本内容获取 9. 属性值获取 10. 按序选择 11. 位置条件 12. 同级节点查找 1.3 复制xpath路径 2. Web应用测试工具 2.1 安装selenium 2.2 下载驱动 2.4 简单使用 2.5 查找标签 2.7 pillow扣图
XPath语法定义及其使用介绍
weixin_34258838的博客
07-12 84
为什么80%的码农都做不了架构师？>>> ...
Xpath元素定位
Rachel00000的博客
06-06 117
1、如：//*[@id=“kw”] //：表示从根路径下开始查找 *：任意元素 []:表示筛选条件（查找函数） @：表示基于属性来筛选，例如@id="kw"表示基于id属性值未kw的条件来进行筛选 基于text来定位元素，在[]中添加text()=“文本内容”，进行查找，例1：//a[text()=‘忘记密码？’]，注意文本值要完整。例2：//input[contains(@id,‘kw’)] contains(xx,xx)模糊匹配文本内容,如：//a[contains(text()
Python xpath 入门使用
卡尔特斯
11-15 418
xpath 浏览器插件，安装之后可以直接在浏览器输入xpath进行测试# 开关快捷键简单流程。
Python爬虫——XPath的使用
万里顾一程的博客
07-29 8366
可以用xpath插件来动态的获取xpath路径（将鼠标悬停在需要选取的文本数据上，然后按下shift按键就会自动出现定位该文本的Xpath表达式，然后再根据需求对表达式修改。先发送请求访问网站，得到网站源码，然后解析网站源码，从网站源码中使用xpath表达式定位到需要下载的图片地址，然后用urllib.request.urlretrieve()方法下载。4、调用xpath路径，提取数据，xpath的返回数据是列表类型。2、发送请求访问网站，得到服务器响应的页面源码。使用实例二从网站上下载图片。.......
comment_爬虫_xpath_豆瓣电影_python_影评_
09-29
标题中的"comment_爬虫_xpath_豆瓣电影_python_影评_"揭示了本次讨论的主题，即使用Python编程语言，通过XPath解析技术，针对豆瓣电影网站进行爬虫开发，目的是抓取电影的用户评论，特别是长篇评论。下面我们将深入...
Python使用xpath实现图片爬取
09-17
在这个场景中，我们将讨论如何使用Python的`lxml`库结合XPath来实现图片的爬取。`lxml`库提供了高效的XML和HTML处理能力，支持XPath 1.0规范。 首先，让我们了解基本的XPath语法。XPath通过路径表达式来选取XML或...
chrome_Xpath_v2.0.2.rar
08-21
标题中的"chrome_Xpath_v2.0.2.rar"表明这是一个与Chrome浏览器和XPath相关的扩展程序，版本号为2.0.2，且文件格式为RAR压缩包。根据描述，这个压缩包包含了一个用于增强Chrome浏览器XPath功能的扩展。XPath是一种在...
爬虫_8 xpath的使用 好段子爬取_爬虫_python_
10-02
通过这个简单的示例，你已经学会了如何使用XPath和Python的`lxml`库来爬取网页数据。在实际项目中，你可能需要处理更复杂的网页结构，例如处理嵌套的标签、动态加载的内容或者分页。此外，还需要考虑反爬虫策略，如...
demo_04_xpath_常见的用法.py
10-24
分享一个xpath的基础用法，介绍了小path的一些基本成操作，代码文件。。。一个基础操作用法。。。
python3: xpath的使用
lxy210781的专栏
08-18 4294
【转】本文转自：https://blog.csdn.net/qq_36148847/article/details/79167267 python 具有一些比较流行的解析库,例如 lxml , 使用的是 XPath 语法，是大众普遍认为的网页文本信息提取的爬虫利器之一。 一. 关于 XPath XPath 是 XML路径语言（XML Path Language），支持 HTML，是一种用来...
Python + Selenium 之Xpath 定位元素详解 （根据id 、class、子元素、倒叙选择、组元素、相邻兄弟选择器、父节点查找）
wudada1993的博客
06-04 8158
1、通配符 和CSS一样，Xpath 也有通配符 * 比如：//div/* ，表示选择div下面所有的元素 等价于CSS中的 $$('div > * ') 2、根据属性元素选择 根据id选择 driver.find_element_by_xpath('//input[@id="kw"]') 根据class 选择 driver.find_element_by_xpath("//span[@class='bg s_ipt_wr quickdelete-wrap']")
python xpath语法-Python爬虫之XPath语法
weixin_37988176的博客
11-01 889
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。XPath 是 W3C 标准,XPath 于 1999 年 11 月 16 日 成为 W3C 标准。XPath 被设计为供 XSLT、XPointer 以...
div内元素倒序
chougaoli1266的博客
11-20 802
<div id="test"> <div>1</div> <div>2</div> <div>3</div> <div>4</div> <d...
python倒序排列方法梳理
热门推荐
wanghuafeng
01-06 6万+
1、数组倒序： 原始元素的倒序排列 arr = [1,2,3,4,3,4] (1)print arr[::-1]     ---->[4, 3, 4, 3, 2, 1] (2)arr.reverse()     print arr       ---->[4, 3, 4, 3, 2, 1] (3)reversed(arr)     #返回一个倒序可遍历对象，需序遍历出 arr =
javascript 实现父节点下子节点的倒序排列
ccForTaeyeon的博客
08-05 1172
昨天接到阿里的电话面试，其中有一道题便是这个。当时这个问题我回答的不好，因为我不明白为什么要问这道题。 今天查阅了相关资料，明白了面试姐姐想考验的是dom操作的最小化。因为我们知道，dom操作的复杂性决定了你网页的效率，dom操作越少，页面会越流畅，用户体验感会更好。明白了考察的知识点，那么思路就很简单了。 思路：获取到父元素下的所有孩子节点后，从后往前遍历循环，整合获取到每个子元素的oute
find_elements_by_xpath使用案例
最新发布
07-08
当使用Selenium进行网页自动化时，可以使用`find_elements_by_xpath`方法根据XPath表达式查找多个元素，并返回一个元素列表。下面是一个使用`find_elements_by_xpath`的示例： ```python from selenium import ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值