一文搞懂XPath查找html dom

于 2024-09-24 22:55:02 发布
阅读量713 收藏 16
点赞数 19
分类专栏： RPA 敏捷，高效办公 文章标签： xpath dom rpa
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/charry0110/article/details/142502336
版权

 博主介绍： 大家好，我是Yuperman，互联网宇宙厂经验，17年医疗健康行业的码拉松奔跑者，曾担任技术专家、架构师、研发总监负责和主导多个应用架构。
技术范围： 目前专注java体系，以及golang、.Net、软件架构、DDD、微服务、redis、nginx、tomcat、mysql、oracle等
业务范围： 从数字医院到区域医疗，从院内业务系统到互联网医院及健康服务，从公立医院到私立医院都有一些经历及理解
*** 为大家分享一些技术积累，欢迎交流合作 持续关注Yuperman ***

目录

XPath 路径表达式

XPath 标准函数

选取节点愈发

谓语（Predicates）

选取未知节点

选取若干路径

Xpath查找DOM

相对定位

​编辑绝对路径

last()方法

属性查找@

xpath逻辑表达式-and

xpath表达式-or

样式属性查找控件

Not查找

模糊匹配

精准匹配

使用大于小于符号定位

轴方式定位

XPath 路径表达式

XPath 使用路径表达式来选取 html页面的dom中的元素或者元素集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

  1.  选取 html页面的dom中的元素或者元素集
  2. 选取xml中的元素或者元素集

XPath 标准函数

XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。

选取节点愈发

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式：

表达式描述
nodename选取此节点的所有子节点。
/从根节点选取（取子节点）。
//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）。
.选取当前节点。
..选取当前节点的父节点。
@选取属性。

在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：

路径表达式结果
bookstore选取所有名为 bookstore 的节点。
/bookstore

选取根元素 bookstore。

注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！

bookstore/book选取属于 bookstore 的子元素的所有 book 元素。
//book选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang选取名为 lang 的所有属性。

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式结果
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]//title选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符描述
*匹配任何元素节点。
@*匹配任何属性节点。
node()匹配任何类型的节点。

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式结果
/bookstore/*选取 bookstore 元素的所有子元素。
//*选取文档中的所有元素。
//title[@*]选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用"|"运算符，您可以选取若干个路径。

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式

结果
//book/title | //book/price选取 book 元素的所有 title 和 price 元素。
//title | //price选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

Xpath查找DOM

相对定位

相对定位是两个杠表示“//”，相对路径易维护


绝对路径

绝对定位用一个杠“/”， 绝对路径一个层级变化所有空间都有变化

/html/body/div[1]/section/section/main/div[2]/div[2]/div[1]/div[2]/button[1]/span

last()方法


当标签存在多个相同的时候，可以使用xpath中的last()方法，定位到最后一个

//标签名[last()]
//span/ul//li[last()]

//标签名[last()-1]
//span/ul//li[last()-1]

属性查找@

如，这里我们以百度为例，如果我们要定位到百度的id元素，那么可以使用 //标签名[@元素名称=‘元素值’]

 //标签名[@元素名称='元素值']
//input[@id='kw']

xpath逻辑表达式-and

当一个元素无法定位到唯一值得时候，我们可以使用and表达式，同一个标签下定位多个元素


//标签名[@元素名称='元素值' and @元素名称='元素值']
//input[@id='kw' and @class='s_ipt']

xpath表达式-or

xpath 中 or的表达式和and很像，指的是当你元素满足其中一个条件的时候，就可以定位到，如图，在百度搜索框中，我们故意将@class='s_t’元素写错，内容中并没有这个元素，

 

// 标签名[@元素名称='元素值' or @元素名称='元素值']
//input[@id='kw' or @class='s_t']

样式属性查找控件

如图，如果我们想要查找元素值不等于某个值的内容，可以使用！=方法，但是这个方法在工作中用的比较少，目前我还没有用到过，不过xpath提供了这个方法，可以结合场景使用~

//标签名称[@元素名称 != '元素值']
//input[@class!='1111']

Not查找

//标签名[not(.='元素值')
//year[not(.=2005)]
//div[not(@id="tab-AndroidVersions")]

这里没有找到合适的场景，意思就是查找year内容不为2005的内容 注：“.”就等于text()

模糊匹配

//标签名[contains(text(), "内容"]
//div[contains(text(), "更新")]

这里的意思是模糊查询内容包含“更新”的元素

精准匹配

//标签名[(text()='内容')]
//div[(text()='更新文案')]

使用大于小于符号定位

//div[@class="cell" and text()>'1336']
//div[@class="cell" and text()<'1336']

如图，当我们商品列表中有多个商品ID，那我们想要定位到ID大于或者小于1336的数据，可以通过上面的方式。

轴方式定位

轴表达式说明

parent::* ：表示当前节点的父节点元素

ancestor::* ：表示当前节点的祖先节点元素

child::* ：表示当前节点的子元素 /A/descendant::* 表示A的所有后代元素

self::* ：表示当前节点的自身元素

ancestor-or-self::* ：表示当前节点的及它的祖先节点元素

descendant-or-self::* ：表示当前节点的及它们的后代元素

following-sibling::* ：表示当前节点的后序所有兄弟节点元素

preceding-sibling::* ：表示当前节点的前面所有兄弟节点元素

following::* ：表示当前节点的后序所有元素

preceding::* ：表示当前节点的所有元素
  1. parent:: 当前节点的父节点元素*

//div[@class="cell" and text()='1338']/parent::*

如图，我们要定位到ID为1338元素的父节点元素，可以使用如上xpath轴定位, “*” 表示匹配所有

  1. following-sibling::
/bookstore/book[1]/following-sibling::*

查找books1所有的同级元素都查找出来，“*”表示所有

//div[3]/table/tbody/tr[1]/td[1]/following-sibling::td[2]

查找td[1]下同级节点下的第二个节点


3. following-sibling::当前节点的前面所有兄弟节点元素

/bookstore/book[2]/year/preceding-sibling::*

意思是：查找books[2]下year前的同级节点

  1. 查找节点的父辈
/bookstore/book[2]/year/parent::*
  1. 查找节点的子辈
/bookstore/book[2]/descendant::*

使用position位置定位

意思是定位到th标签下的第一个

//th[@class="c-id " and position()=1]

晓风残月Yuperman
关注
专栏目录
一文弄懂XML文件解析利器XPath
死牛胖子的技术随笔
04-18 978
XPath 是一种为查询 XML 文档而设计的语言，它可以与 DOM 解析方式配合使用，实现对 XML 文档的解析。XPath 之于 XML 就好比 SQL 语言之于数据库。
一文读懂XPath基本语法_XPath语法详解_XPath教程
HRG520JN的博客
07-15 6900
XPath使用路径表达式来选取XML文档中的节点或节点集。节点是通过沿着路径(path)或者步(steps)来选取的。
python使用xpath提取数据_一文搞定Xpath简单高效的提取HTML数据
weixin_40005454的博客
12-04 762
1.简介XPath是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。相比于BeautifulSoup，Xpath在提取数据时会更加的方便。2. 安装在Python中很多库都有提供Xpath的功能，但是最基本的还是lxml这个库，效率最高。在之前BeautifulSoup章节中我们也介绍到了lxml是如何安装的。pipinstalllxml3. 语...
在Dom4j中使用Xpath搜索xml的元素节点
我是小坏
05-23 2979
有关XPath的知识，大家可以参考我的xml小结里面的《通过Xpath查找指定节点》一文，在本文中我们继续使用test,xml来作为解析的范例！为了方便起见，我就直接把源码附在下面了！ 张三 男 20 李四 女 19 王五 男 21 和上次一样，来读取xml，获取它的Document对象。 SAXReader saxRe
【Python】【Scrapy 爬虫】理解HTML和XPath
m0_74183164的博客
05-25 915
一个 URL 由不同的部分组成，其中一些是必须的，而另一些是可选的。http是协议。它表明了浏览器必须使用何种协议。它通常都是 HTTP 协议或是 HTTP 协议的安全版，即 HTTPS。Web 需要它们二者之一，但浏览器也知道如何处理其他协议，比如（打开邮件客户端）或者（处理文件传输）。是域名。它表明正在请求哪个 Web 服务器。或者，可以直接使用IP address，但是因为它不太方便，所以它不经常在网络上使用。:80是端口。它表示用于访问 Web 服务器上的资源的技术“门”。
Xpath常见用法
lizeyang的专栏
05-04 5400
在《Selenium超简单入门》一文中，介绍了Selenium爬取网页数据、网页自动测试的基本方法。而在使用Selenium过程中，经常需要查找页面中的DOM元素，我们必须告诉Selenium如何找到页面中的指定元素，然后它才能再执行诸如点击、获取Text等事件。而Xpath这时候就能派上用场，它是一门在xml、html文档中查找信息的语言，它通过简单的表达，就能描述某个节点在xml文档中的位置，
java使用dom4j解析xml
DanielMeng9527的博客
12-01 834
XML解析技术有两种 DOM SAX DOM方式  根据XML的层级结构在内存中分配一个树形结构,把XML的标签,属性和文本等元素都封装成树的节点对象  优点: 便于实现增 删 改 查缺点: XML文件过大可能造成内存溢出 SAX方式  采用事件驱动模型边读边解析:从上到下一行行解析,解析到某一元素, 调用相应解析方法  优点: 不会造成内存溢出,缺点: 查询不方便,但不能
Python原理到Python爬虫学习，一文弄懂Python如何学
Python追梦
09-05 265
原理 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。 然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另...
$(选择器).html,jquery选择器
weixin_35928736的博客
06-04 909
5.临近选择器:$("mix+mix"),选取下一个兄弟节点.如:$("div +#test"),id为test的的节点必须是div的下一个兄弟节点.在$("div + #test")中能取到p段落节点则不能取到6.属性选择器:把属性选择器不放在css选择器里面是因为jQuery中写法是不一样的.至于css中写法可以参考我之前写的一篇css的选择器一文.jQuery中是和xPath类似的写法:$(...
dom4j用到的xpath\dom4j等一系列jar包
12-29
DOM4J库集成了XPath支持，使得在DOM4J中使用XPath查询XML数据变得非常方便。 DOM4J的主要特性包括： 1. **XML解析**：DOM4J提供了多种解析方式，包括DOM、SAX和StAX，以适应不同的性能和内存需求。 2. **文档模型**...
dom4j和xpath的jar包
08-09
DOM4J是一个灵活且功能丰富的Java库，它提供了强大的XML处理能力，而XPath则是一种在XML文档中查找信息的语言。 DOM4J作为Java中的一个开源XML库，它提供了完整的DOM、SAX和JDOM API，同时引入了更多高级特性，如...
dom4j 和xpath
12-05
DOM4J是一款灵活且功能强大的Java库，主要用于处理XML文档，而XPath是一种在XML文档中查找信息的语言。 DOM4J简介： DOM4J是基于Java的XML API，它提供了丰富的功能来读取、写入、修改以及操作XML文档。相比于标准...
获取dom节点xpath &&通过xpath返回dom节点
你好，欢迎光临！
03-09 1888
html结构 <!doctype html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0"> <meta http-equ
火语言RPA--手机对象元素库使用方法
lewell789的博客
08-12 404
火语言RPA，手机对象元素库使用方法
体育馆管理系统代码系统 Springboot体育馆管理系统（程序，中文注释）
09-26
体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统-体育馆管理系统 1、资源说明：体育馆管理系统源码，本资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 2、适用人群：计算机相关专业(如计算计、信息安全、大数据、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工等学习者，作为参考资料，进行参考学习使用。 3、资源用途：本资源具有较高的学习借鉴价值，可以作为“参考资料”，注意不是“定制需求”，代码只能作为学习参考，不能完全复制照搬。需要有一定的基础，能够看懂代码，能够自行调试代码，能够自行添加功能修改代码。 4. 最新计算机软件毕业设计选题大全(文章底部有博主联系方式): https://blog.csdn.net/2301_79206800/article/details/135931154 技术栈、环境、工具、软件： ① 系统环境:Windows ② 开发语言：Java ③ 框架：SpringBoot ④ 架构:B/S、M
基于Springboot和Mysql的美食推荐商城代码（程序，中文注释）
09-26
美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城-美食推荐商城 1、资源说明：美食推荐商城源码，本资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 2、适用人群：计算机相关专业(如计算计、信息安全、大数据、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工等学习者，作为参考资料，进行参考学习使用。 3、资源用途：本资源具有较高的学习借鉴价值，可以作为“参考资料”，注意不是“定制需求”，代码只能作为学习参考，不能完全复制照搬。需要有一定的基础，能够看懂代码，能够自行调试代码，能够自行添加功能修改代码。 4. 最新计算机软件毕业设计选题大全(文章底部有博主联系方式): https://blog.csdn.net/2301_79206800/article/details/135931154 技术栈、环境、工具、软件： ① 系统环境:Windows ② 开发语言：Java ③ 框架：SpringBoot ④ 架构:B/S、MVC ⑤ 开发环境:IDE
基于大模型(ChatGLM2-6B, RWKV)+langchain+streamlit的PDF问答，摘要，信息抽取.zip
最新发布
09-26
基于大模型(ChatGLM2-6B, RWKV)+langchain+streamlit的PDF问答，摘要，信息抽取.zip
xpath 表达式 div里的所有p_一文搞懂XPath 定位
06-10
好的，我知道您想了解有关XPath表达式定位div内所有p元素的信息。XPath是用于在XML或HTML文档中定位元素的一种语言。以下是定位div内所有p元素的XPath表达式： ``` //div//p ``` 这个XPath表达式可以解读为：在文档中找到所有div元素，然后在这些div元素内找到所有p元素。使用双斜杠（//）表示在整个文档中递归查找匹配的元素。在这个表达式中，我们使用两个双斜杠，因为我们不知道div元素的深度。 如果您只想查找特定div元素中的p元素，可以使用以下XPath表达式： ``` //div[@class='example']//p ``` 这个XPath表达式可以解读为：在文档中找到class属性为example的所有div元素，然后在这些div元素内找到所有p元素。 希望这能回答您的问题！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值