自动化测试/爬虫定位真难，那是你还没掌握XPath定位

最新推荐文章于 2023-07-13 19:13:26 发布
最新推荐文章于 2023-07-13 19:13:26 发布
阅读量345 收藏 1
点赞数 1
分类专栏： python 同哥带你学python 文章标签： 定位 html css js python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XingLongSKY/article/details/112386526
版权
XPath是XML和HTML文档中强大的定位工具，广泛应用于爬虫和自动化测试。通过学习XPath的路径表达式和不同定位方式，如元素属性、层级结合、逻辑判断等，能有效提高数据提取效率。了解HTML结构和常用标签是基础，结合Chrome开发者工具，可以轻松获取和验证XPath表达式，从而精准定位目标元素。
摘要由CSDN通过智能技术生成

 

XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。

XPath定位在爬虫和自动化测试中都比较常用，通过使用路径表达式来选取 XML 文档中的节点或者节点集，熟练掌握XPath可以极大提高提取数据的效率。

因为XPath解析数据是基于元素（Element）的树形结构，所以学习XPath前，先了解一下html的结构及常用标签。

关于HTML学习可以参考W3School文档：https://www.w3school.com.cn/html/index.asp

常用标签

标题：<h1>、<h2>、<h3>、<h4>、<h5>、<h6>
了解本专栏 订阅专栏 解锁全文 超级会员免费看
程序员吾非同
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
万字博文教你python爬虫XPath库【详解篇】
孤寒者的博客
09-29 55万+
 ????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????    ????第一篇爬虫入坑文；一篇万字博文带你入坑爬虫这条不归路 【万字图文】????  ????第二篇爬虫库requests库详解。两万字博文教你python爬虫requests库【详解篇】????    ????但是爬虫爬虫，重在爬取到我们想要的数据，那么我们该如何提取页面中我们所需要的信息呢？为了让小伙伴们更加深入的学习
爬虫 页面元素变化_爬虫项目案例讲解 案例二：定位、爬虫、定位页面元素、分别定位、简单处理抓取数据（有总结）...
weixin_30383561的博客
12-31 198
1.scrapy shell [要爬取的网址]他可以很直观的反馈给你要定位的元素是否可以定位到2.打开后然后再把：response.xpath("//*[@id=\"ml_001\"]/table/tbody/tr[1]/td[1]/a/text()").extract()；语句写入，看如果可以返回值说明可以定位到yield 作用：和return类似总体过程如下：1.cd part6(转到某个pr...
Xpath介绍
sunrainwind的专栏
07-11 758
 XPath is a language for finding information in an XML document. XPath is used to navigate through elements and attributes in an XML document.Xpath是一种能够在XML文档中寻找信息的语言。它通过XML文档中的元素和属性来进行导航。 Wha
Scrapy爬虫-定位
weixin_30340745的博客
09-25 145
一、Html定位 1.常用的路径表达式： 2.例子： 二、json定位 --------------------- 本文来自 彭世瑜 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/mouday/article/details/80455560?utm_source=copy 转载于:https://www.cnblog...
写爬虫遇到的各类较难的xpath汇总
热门推荐
数据知道的博客
02-13 3万+
1. 如网站：http://www.afinance.cn/new/yzcj/List_19.html，提取时间的xpath如下： //div[@class="nrbf"]/font[@class!="a"]/text()[1] 提取到的截图如下：
爬虫-定位网页元素
weixin_41089914的博客
11-21 175
https://blog.csdn.net/rankun1/article/details/81357179
爬虫：Xpath定位
二十四桥明月夜
12-25 2682
对于网页的节点来说，定义id，class或其他属性。而且节点之间还有层级关系，在网页中通过XPath或CSS选择器来定位一个或多个节点，对于这种解析库非常多，其中比较强大的库有lmxl，Beautiful Soup、pyquery等， XPath概览 ...
XPath 文本内容定位
小蓝枣的博客
07-13 1209
XPath 是一种强大的查询语言，用于在 XML 和 HTML 文档中定位和提取元素。文本内容定位是 XPath 的一项重要技巧，它允许我们根据元素的文本内容来准确筛选和定位目标元素。本篇博客将深入探讨 XPath 文本内容定位的方法和技巧，通过详细的解释和实例演示，展示它在元素筛选和定位方面的优势和灵活性。
XPath 父子关系定位
小蓝枣的博客
07-13 318
XPath 是一种强大的查询语言，用于在 XML 和 HTML 文档中定位和提取元素。在实际的应用中，经常需要根据元素之间的父子关系来准确定位和筛选目标元素。 XPath 提供了丰富的语法和函数来处理父子关系，使我们能够灵活地进行元素的筛选和定位。本篇博客将深入探讨 XPath 父子关系定位的方法和技巧，通过详细的解释和实例演示，展示它在元素筛选和定位方面的优势和灵活性。
scrapy爬虫始终定位不到元素
12-21
scrapy爬虫始终定位不到元素 欲抓取网页链接 谷歌浏览器审查时界面 复制的xpath路径为//*[@id=“history”]/tr[1]/td[1]，使用浏览器控制台验证无误 但使用get和xpath得到值为空列表 查看网页源代码对应路径下确实无此元素疑为异步加载网页，查看network 搜索并未找到欲抓取元素，难受。 不断调试试验，最终在firefox复制xpath绝对路径，并使用selenium成功定位到元素，成功代码如下： headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;
XPath 兄弟关系定位
最新发布
小蓝枣的博客
07-13 754
XPath 是一种强大的查询语言，用于在 XML 和 HTML 文档中定位和提取元素。在实际的应用中，经常需要根据元素之间的兄弟关系来准确定位和筛选目标元素。 XPath 提供了丰富的语法和函数来处理兄弟关系，使我们能够灵活地进行元素的筛选和定位。本篇博客将深入探讨 XPath 兄弟关系定位的方法和技巧，通过详细的解释和实例演示，展示它在元素筛选和定位方面的优势和灵活性。
爬虫-雪球网（使用beautifulsoup定位资源）
weixin_34233679的博客
08-23 174
from bs4 import BeautifulSoupimport requestsheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1....
爬虫-链家网（利用beautifulsoup定位资源）
weixin_34217711的博客
08-23 97
from bs4 import BeautifulSoupimport requestsurl = 'https://bj.lianjia.com/ershoufang/c1111027378138/?sug=%E6%B5%81%E6%98%9F%E8%8A%B1%E5%9B%AD%E4%B8%89%E5%8C%BA'response = requests.get(url)# with open(...
49 爬虫 - Selenium 定位UI元素
阿甘兄
08-30 368
Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。 # IPython2 测试代码 # 导入 webdriver from selenium import web...
python爬虫和定位_Python网络爬虫实战，照片定位与B站弹幕！
weixin_39950057的博客
12-07 201
之前两篇已经说完了如何爬取网页以及如何解析其中的数据，那么今天我们就可以开始第一次实战了。Python资源共享群：626017123这篇实战包含两个内容。* 利用爬虫调用Api来解析照片的拍摄位置* 利用爬虫爬取Bilibili视频中的弹幕关于爬虫调用Api这一说法，其实就是通过get或者post请求携带着参数，将内容发给对方服务器，服务器会根据请求的Api是哪个来进行处理。比如说/delete?...
爬虫如何用xpath定位
qq_54361109的博客
06-30 390
爬取企查查的进出口公司名称、公司电话、公司地址 用的selenium爬虫，因为电话信息需要登录才会显示出来，所以先输入登陆后的网址：https://www.qcc.com/web/search?key=%E8%BF%9B%E5%87%BA%E5%8F%A3 1.导入selenium url = 'https://www.qcc.com/web/search?key=%E8%BF%9B%E5%87%BA%E5%8F%A3' from selenium import webdriver #导入库 impor
21.xpath定位中id 、starts-with、contains、text()和last() 的用法
weixin_34342992的博客
10-26 178
21.xpath定位中id 、starts-with、contains、text()和last() 的用法 xpath语法：id 、starts-with、contains、text()和last() 的用法 <input id="su" class="bg s_btn btnhover" value="百度一下" t...
Selenium自动化爬虫实践：元素定位与PhantomJS教程
2. Selenium自动化爬虫基础：Selenium被用来模拟用户操作，进行网页自动化测试和爬虫开发。它有以下优点：能够处理动态加载内容、支持多种浏览器、提供丰富的API进行元素定位。章节内容涵盖了Selenium的安装步骤，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员吾非同

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值