实操续：爬虫定位经常报错？试试这个小工具，快速检查XPath，简单明了！

最新推荐文章于 2024-05-23 10:27:35 发布
最新推荐文章于 2024-05-23 10:27:35 发布
阅读量711 收藏 9
点赞数 2
分类专栏： 爬虫 文章标签： 爬虫 python selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/junior5/article/details/120017361
版权

接着爬虫系列，继续讲解XPath定位
老司机，带你用30行代码爬取高清美女写真，附安装包+源码
实操续：爬虫基础知识，浏览器最基本的配置方法
实操续：HTML基本结构，以及数据来源，网页获取

今天继续讲解XPath定位

在这里插入图片描述

一、XPath直观验证工具 selenium IDE

效果展示

以百度为例，获取所有 div带id属性 的元素，被选中的在HTML背影色加深，在网页中有虚线边框
在这里插入图片描述

selenium IDE安装

1 .下载火狐55以内版本安装包（最新版本已经不支持了），安装完成，迅速设置禁止自动更新版本

2 .下载selenium IDE，FireXPath，firebug离线包

3 .依次把离线包拖入浏览器

在这里插入图片描述

4 .安装成功后，点击右上角的小虫子

在这里插入图片描述

5 .因为网盘容易失效，离线包资源放在群共享了

在这里插入图片描述

XPath格式

//div[@id]

第一部分，从哪里获取，必要

/表示从跟节点获取

//表示从当前节点下获取节点，不考虑中间层级关系

例如：

//div [@id=“content_left”]/div只会获取整个左侧div标签首层div

在这里插入图片描述

//div [@id=“content_left”]//div会获取整个左侧div标签

在这里插入图片描述

第二部分，标签名称，必要

常见块标签div,p,ul，ol

通配符*表示所有标签

在这里插入图片描述

第三部分，[ ]表达式修饰符,非必要

修饰符必须配合，表达式一起使用，否则报错

在这里插入图片描述

第四部分，@属性选择

常见属性id，class

from表单中的name，a标签里面的title也可以做属性选择

在这里插入图片描述

XPath内置表达式

需要写在[ ]里面

支持比较运算符，=，>，<

属性比较//*[@id=’u’]

在这里插入图片描述

取前3之后的a标签 //a[position()>3]

在这里插入图片描述

支持逻辑运算and和or，not( )

//*[@id=‘container’ or @id=‘u’]

在这里插入图片描述

另外在介绍两个定位函数

preceding-sibling::*定位兄弟元素

//[@id=‘u’]/preceding-sibling::

在这里插入图片描述

…定位父元素

//*[@id=‘u’]/…

在这里插入图片描述

总结：

1.使用XPath工具，有助于你快速定位元素

2.可以借助XPath工具，验证自己写没写对

3.博主在学习期间收藏了很多实用的小工具，文件比较多，放在群共享了

流浪哥--互联网的浪潮儿
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
XPath 测试工具 快速XPath测试
08-05
自己开发的工具，经过一系列完善，目前能直接测试XPath并获取结果，暂没共享源码，后期会上传源码，敬请关注！
xpath表达式测试小工具
12-02
xpath表达式测试小工具,很实用。推荐。上次不知道为什么被删掉了。重发。
在chrome中查找和验证xpath
lixiaomei0623的专栏
05-23 1091
获取到的full xpath路径：/html/body/div[2]/div[1]/div[5]/div/div/div[3]/ul/li[2]/a/span[2]获取到的xpath路径：//*[@id="hotsearch-content-wrapper"]/li[2]/a/span[2]按F12打开chrome浏览器的开发者模式，点击选择光标，选择页面上的元素位置，在控制台右键选择Copy。按键“Ctrl+F”，在控制台中输入需要检查的XPath路径，对应的元素会有的颜色标识。
xpath测试工具 xpath调试工具
weixin_33857230的博客
05-03 286
其实这个工具没什么介绍的了 因为目前有项目中需要到了xpath语法,然后呢,有没有什么好的工具 大部分都是联网的,个人比较喜欢离线的工具包 所以顺手就写了一个小工具来测试xpath语法的正确性 so,就没有过多的介绍了,界面和功能都非常简单 首先,最基础的语法,取出所有div的innerText 如有需要,还可以取出Attributes,如下图 ...
xpath小工具
lildn的博客
12-16 150
# 返回唯一的xpath结果 def xpath_one(contentx, path, default=None): rets = contentx.xpath(path) return rets[0] if rets else default #如果能找到就返回第一个，找不到返回default # 返回多个xpath的结果 def xpath_all(contentx, path): rets = contentx.xpath(path) return ret
AutoXpathTools(查看网页所有的Xpath)
07-25
AutoXpathTools是C#做的一个可以查看网页的所有Xpath的软件，条理清晰，省去了一些繁琐的工作。这是整个解决方案，已经过本人的调试，可以使用！
XPath Helper：chrome爬虫网页解析工具
02-06
XPath Helper是一款针对Chrome浏览器的强大工具，它专门用于帮助开发者和数据爬取者高效地解析和提取网页中的数据。XPath（XML Path Language）是一种在XML文档中查找信息的语言，而XPath Helper则是Chrome浏览器的...
轻松学Python爬虫教程：打造你的首个网页抓取工具0基础！！！！易懂！！！.docx
最新发布
07-14
本教程“Python网页爬虫入门：构建基础爬虫的步骤与技巧”涵盖了从基础到进阶的网页爬虫技术。我们首先介绍了如何使用Python的requests库发起HTTP请求，并使用Beautiful Soup库解析HTML内容，以及使用正则表达式和...
页面元素xpath定位工具.rar
09-21
本压缩包"页面元素xpath定位工具.rar"提供了一个名为DragonTestingXpathHelperV1.0.2的工具，该工具专门用于帮助用户快速、准确地找到网页上的可点击元素和输入字段，并自动生成对应的XPath表达式。 在网页自动化...
检验Xpath准确性
liucaixin2016的博客
03-15 715
检验Xpath准确性 方法一： 1.在console上，输出$x(‘xpath路径’) 方法二： 1.f12，打开浏览器，ctrl+f
Xpath测试工具
03-15
Xpath测试工具,下载解压直接使用,复制内容到工具内,编写规则测试即可
验证元素属性是否正确的工具--xpath checker
M.Blog
07-21 5413
今天分享一个火狐浏览器中很好用的一个插件xpath checker，它能帮助我们识别我们获取的元素属性是哪个元素，或者可以说我们获取的元素属性是不是我们要找的元素，起到一个精确定位的作用。我已经安装了此插件，下面步骤只做安装讲解，下面开始操作步骤： 第一步：打开火狐浏览器，点击打开菜单-->附加组件； 第二步：点击插件，在搜索框中输入xpath checker，进行搜索； 第三步：搜索出
爬虫内容学习-工具类---xpath-1
wtt234的专栏
12-12 1174
Python爬虫中Xpath的用法，相信每一个写爬虫、或者是做网页分析的人，都会因为在定位、获取XPath路径上花费大量的时间，在没有这些辅助工具的日子里，我们只能通过搜索HTML源代码，定位一些id，class属性去找到对应的位置，非常的麻烦，二、解析网页内容：是网页中有很多内容，爬虫的本质是选择我需要的内容，例如我只想网页中的一部分图片，一部分视频或者一部分特殊的内容，这个选择的“部分”主要有1.正则表达式 2.xpath 3.前期练习的时候，可以使用requests库+正则表达式 进行练习。
xpath解析超方便的工具
前方的路在刚开始
08-26 398
我写了爬虫，我每次需要xpath解析，都得运行代码，看看自己的结果是什么。那我就得点2次，还得程序跑起来，会浪费我几秒钟。 但是，自从我数据组的爬虫小伙伴，给我提供了个工具，从此便给我带来了开红色法拉利的解析感觉。今天就把这个工具分享给大家。 xpath helper 打开google浏览器，【点击】右上角的插件。按钮，接下来在下滑的弹窗中【点击】管理拓展程序 点击左下角的商店 在搜索框中输入xpath helper，并且回车 选择这个，并且点击他 添加至google插...
JS总结4--(XML和Xpath)
teresa502的专栏
09-01 2184
<br />五、解析xml文件和字符串<br /> <br />ie中： xmlDoc = new ActionXObject("Microsoft.XMLDOM");<br />          xmlDoc.async = "false";<br />          xmlDoc.load("books.xml"); //xmlDoc.loadXml(txt);<br /> <br />ff中：xmlDoc = document.implementation.createDocument("","
Xpath定位与验证
m0_44969809的博客
12-29 1495
在需要定位的页面，按F12后，切换至console列下，点击模块下的小眼睛，出现表达式的输入框。绝对路径定位类似于：/html/body/div[2]/form/div[1]/table/tbody/tr[1]/td[1]绝对路径定位，即使用的是一个绝对的路径，Xpath定位，则是从HTML最外层逐层填写，直到定位到需要的元素。（2）如果元素没有唯一属性，可根据最近的上层路径的唯一属性作为开始位置，逐层编写到目标元素位置。相对路径定位，使用的是元素路径的部分信息，以及元素的部分特性。通过name进行定位。
【学习笔记】爬虫找xpath路径小工具：xpath-helper 插件安装以及及使用方法
KaelCui的博客
06-03 522
安装： https://chrome.google.com/webstore/detail/xpath-helper/hgimnogjllphhhkhlmebbmlgjoejdpjl?hl=zh-CN 使用步骤： 1）用chrome打开一个网页 2）按Ctrl-Shift键-X以打开XPath辅助控制台。 3）按住Shift键鼠标在页面上的元素。查询框会不断更新，以显示鼠标指针下面的元素充分XPath查询。结果框其右侧将显示评价结果的查询。 4）如果需要的话，可以直接在控制台编辑XPath查询。在结果框中
python 爬虫 网课数据爬取+可视化
12-15
Python爬虫是一种通过编写Python程序来自动化获取互联网上的数据的技术。爬虫可以用于从网上抓取各种数据，包括文字、图片、视频等。而网课数据爬取是指使用爬虫技术从网上抓取各种网课相关的数据，比如课程名称、课程价格、课程评分等。 爬取网课数据的过程通常分为以下几个步骤： 1. 确定要爬取的目标网站和数据，比如某个网上教育平台的课程页面。 2. 使用Python的爬虫库，比如Requests库或Scrapy框架，发送HTTP请求获取网页内容。 3. 使用解析库，比如BeautifulSoup库或XPath，解析网页内容，提取所需的数据。 4. 对数据进行清洗和处理，比如去除HTML标签、缺失值处理等。 5. 将清洗过的数据保存到本地文件或数据库中，以备后续分析和可视化使用。 在获取到网课数据后，可以使用可视化工具，比如Matplotlib库或Plotly库，来进行数据的可视化展示。通过可视化，可以更直观地理解和分析数据，并将数据以图表的形式展示出来，比如柱状图、折线图、饼图等。这些图表可以帮助人们更好地理解网课的分布、趋势和关联性，为决策提供参考。 总而言之，Python爬虫技术可以用于网课数据的爬取，而数据的可视化则可以通过使用Python的可视化库来实现。这种方式可以帮助我们更好地利用网上的网课资源，并通过数据分析和可视化来获得更多的洞见和价值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值