Python 爬虫案例（六）--xpath定位不到

最新推荐文章于 2024-07-16 14:25:25 发布
最新推荐文章于 2024-07-16 14:25:25 发布
阅读量4.9k 收藏 14
点赞数 3
分类专栏： python爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Agnes_Zhang/article/details/108761812
版权
本文通过实例讲述了在Python爬虫中遇到的xpath无法定位网页数据的问题。原因在于浏览器显示的网页格式并非真实网页结构。解决方法是查看response.body，了解实际的HTML结构，并据此调整xpath表达式，从而正确抓取所需数据。
摘要由CSDN通过智能技术生成

一个很简单的问题：xpath定位不到想要得到的数据，实际上就是我们表面上看到的网页格式并不是真实的网页格式，举例说明：点击查看网页 这个网页，先建立好爬虫项目，起好爬虫的名字，这里爬虫名字就为：test.py.

用google浏览器打开链接，右击检查，然后Ctrl+F键，找到我们像定位的地方，进行定位搜索：“//*[@id=‘menu’]/following-sibling::table/tbody/tr[2]/@onclick”
1
可以看到，已经找到了定位信息，然后再test.py中进行编写：

import scrapy

class KeywordSpider(scrapy.Spider):
    name =
最低0.47元/天 解锁文章
xpath定位不到元素，试试这招？
python爬虫人工智能大数据
08-07 7385
最近在做一个自动化测试项目，遇到公众号元素定位无法找到的情况，通过uiautomator查看元素，按钮有text值，试了很多方法，通过xpath的@text方法没找到，后...
python xpath定位不到_Xpath定位方法深入探讨及元素定位失败常见情况
weixin_39819138的博客
03-01 4708
一、Xpath定位方法深入探讨(1)常用的Xpath定位方法及其特点使用绝对路径定位元素。例如：driver.findElement(By.xpath("/html/body/div/form/input"))。特点：这个路径是从网页起始标签开始一直到要定位的元素的路径，如果要定位的元素在页面最下面，则这个Xpath路径会非常长。如果在要定位的元素与页面开始之间的元素有任何增减，元素定位就会失败。...
Xpath定位不到元素的可能原因及解决方案
二十二画生的博客
01-05 7733
一般来说元素的id是比较稳定的，但是有些元素的id是不断刷新的。解决方案是通过修改Xpath路径来定位隐藏或不可见的元素，可以使用contains()函数、ancestor节点或preceding-sibling节点等来定位目标元素。：如果页面上有多个相同的元素，Xpath默认只会返回第一个匹配的元素。解决方案是使用索引来定位特定的元素，可以使用[1]、[2]等索引来定位第二个、第三个匹配的元素。：有些弹窗，会屏蔽其他元素操作，可以检查是否上层的弹框、下拉框之类的元素遮挡，优先处理弹窗的元素。
copy Xpath 在爬虫里定位不到
weixin_57272288的博客
06-17 716
copy Xpath 在爬虫里定位不到，是因为浏览器，在代码里加了tbody而我们用requests.get得到的text里没有这个tbody，所以删掉这个tbody，就能正常搜索了
python学习问题总结之找不到的xpath
qq_34130509的博客
04-15 2046
问题描述：在使用xpath爬虫的过程中，我想提取带有某一属性的节点内部的文本，但输入节点和属性之后，并没有返回相关的文本，相关代码如下所示： fujian1_text = fujian1_text_tree.xpath('//span[@class = "normal105"]//*/text()') 在这里我想活得span下所有子孙节点的内容，其中span节点的class属性是"normal1...
Python通过Xpath定位不到元素
weixin_42329328的博客
02-04 282
具体网址为考试酷的考试。排查了iframe嵌套，地址不准确等原因，还是无法定位到该元素。网页源码中没有需要抓取的文本，元素中有，复制元素的Xpath地址。使用request（）可以获取到网页元素。求问大牛，怎么解决。
python爬虫案例CnkiSpider-master.zip
06-04
【Python爬虫案例CnkiSpider-master.zip】是一个关于使用Python进行网络爬虫开发的实践项目，主要目标是抓取中国知网（CNKI）的相关数据。该项目涉及到多个Python爬虫技术，包括网页解析、数据提取、请求管理等。...
python爬虫学习案例-.电商独立站产品爬取.rar
05-30
在本Python爬虫学习案例中，我们关注的主题是电商独立站产品信息的抓取。"电商独立站产品爬取"项目旨在教授如何利用Python编程语言和相关库来自动化收集电商平台上的商品信息，如商品名称、价格、描述、图片链接等。...
python爬虫案例-01-了解模块.ev4.rar
01-11
这个"python爬虫案例-01-了解模块.ev4.rar"文件似乎是一个关于Python爬虫基础的视频教程，通过学习可以掌握如何利用Python进行网页数据抓取。 在Python中，爬虫主要依赖于几个关键模块： 1. **requests**: 这个...
python爬虫学习案例-.selenium模块应用.rar
05-30
Python爬虫技术在数据获取和分析领域中占有重要的地位，其中`.selenium`模块是用于自动化Web浏览器操作的重要工具。本案例集主要围绕`selenium`模块的应用，通过一系列的Python脚本来教授如何利用该模块进行网页交互...
python selenium xpath定位操作
12-17
xpath是一种在xm文档中定位的语言，详细简介，请自行参照百度百科，本文主要总结一下xpath的使用方法，个人看法，如有不足和错误，敬请指出。 注意：xpath的定位 同一级别的多个标签 索引从1开始 而不是0 1. 绝对定位： 此方法最为简单，具体格式为 xxx.find_element_by_xpath(“绝对路径”) 具体例子： xxx.find_element_by_xpath(“/html/body/div[x]/form/input”) x 代表第x个 div标签，注意，索引从1开始而不是0 此方法缺点显而易见，当页面元素位置发生改变时，都需要修改，因此，并不推荐使用。
python xpath定位不到_python3中使用xpath无法定位，为什么一直返回空列表？
weixin_39598472的博客
12-04 682
tbody问题:在爬去某些网站一些信息的时候，xpath工具上显示类容是正确的，但是在scrapy代码中一直返回空列表Scrapy的部分代码：class LotteryspiderSpider(scrapy.Spider):#爬虫名字name = 'LotterySpider'#允许的域名allowed_domains = ['www.lottery.gov.cn']#入口URL，扔到调度器sta...
解决selenium定位不到xpath元素： “NoSuchElementException: Message: no such element: Unable
weixin_49643729的博客
05-11 3077
找的元素被包含在iframe中，而不是主HTML源码中。需要添加以下代码先将driver切换到相应的iframe中，然后再进行元素的定位和数据的抓取。
python用selenium网页模拟时xpath无法定位元素解决方法2
最新发布
`Steven的博客
07-16 617
我们发现1721110144093这个数字在网页代码中是存在的，所以解决方法是使用正则定位抓取数字，然后拼接出xpath再用于定位元素。)精准定位数字的位置，由于网页代码中有多个重复内容，所以使用list容器，再使用data[1]，即list里的第一个元素，准确把数字提取出，然后拼接，就拿到最终的动态变化的xpath啦！本篇写第2种情况，就是xpath定位的元素中有变化的数字，比如wb这个上传视频的网址，“上传视频”的按钮，我们点击copy xpath后，得到的xpath是//
『python爬虫』xpath变化导致无法找到指定元素(持续更新中~)
MZH
02-26 1194
『python爬虫』xpath变化导致无法找到指定元素
scrapy xpath取不到的情况，xml的网外之鱼
朴拙科技的博客
08-15 827
请求不到，必须一定要看自己现在请求的html文本，这里xpath 都是空，且别加re.S。正则，xpath都能正常请求到。完全没问题，但Scrapy中内容完全不同了。
selenium webdriver定位不到元素的五种原因及解决办法
星辰海閣
12-21 6019
1.动态id定位不到元素 for example:         //WebElement xiexin_element = driver.findElement(By.id("_mail_component_82_82"));         WebElement xiexin_element = driver.findElement(By.xpath("//span[contains(
解决Python用xpath爬取不到数据的一个思路
Cnc2014的博客
07-01 806
解决Python用xpath爬取不到数据的一个思路，希望对大家有所帮助。
爬虫使用xpath解析时返回为空，获取不到相应的元素的原因和解决办法
热门推荐
小鱼干儿的博客
04-22 1万+
xpath写的对，但是返回值为空 在写爬虫的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，通常会遇到会获取不到相应元素的情况 原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构 我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码 所以根据修改后的xpath解析源代码会找不到相应的元素 ...
Python爬虫案例：spider_demo-master解析
总结而言，"spider-demo-master.zip"文件包含了用于学习和实践Python爬虫技术的示例代码和文件，其中涵盖了从基础爬虫编写到处理复杂网站数据、遵守网络礼仪、应对反爬措施等多个层面的知识点。对于希望深入理解和...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值