使用xpath解析时返回为空，获取不到相应的元素的解决方法

最新推荐文章于 2024-07-17 10:17:44 发布
最新推荐文章于 2024-07-17 10:17:44 发布
阅读量3.3k 收藏 5
点赞数 5
文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mys328/article/details/132188988
版权

在写爬虫的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，明明自己写的xpath语句正确，但是返回值还是为空

原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构。。
我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码
所以根据修改后的xpath解析源代码会找不到相应的元素，返回值自然为空

举例：
浏览器修改后的代码

//*[@id="table1"]/tbody/tr[1]/td[2]

 源码
缺少一个tbody标签，

xpath//*[@id="table1"]/tr[1]/td[2] 将tbody删除

 总结 当使用xpath获取不到向相应的元素的时候，观察一下源码结构，根据源码进行解析

mys328
关注
  • 5
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
【转载】Xpath定位方法深入探讨及元素定位失败常见情况
weixin_30814329的博客
10-18 1402
一、Xpath定位方法深入探讨 （1）常用的Xpath定位方法及其特点 使用绝对路径定位元素。 例如： driver.findElement(By.xpath("/html/body/div/form/input"))。 特点：这个路径是从网页起始标签开始一直到要定位的元素的路径，如果要定位的元素在页面最下面，则这个Xpath路径会非常长。如果在要定位的元素与页面开始之间的元素...
Python爬虫：xpath，cookie都正确仍然无法爬取需要的内容解决方法之一
m0_71242960的博客
12-23 2261
经过很多次尝试以及仔细观察所爬取的html代码内容，我发现有一个标签里含有的css代码：style = display:none ，这行代码可以把这个标签里面的内容隐藏。展开这个标签里面的内容，很可能就是我们所需要的真实的页面a标签里面的url地址。注意，这里说了一般，有些网站的反爬措施很高级，甚至会封掉你的ip。看这篇文章的猿猿们肯定有了一定的python-xpath爬虫基础了，后面对li_tree的处理以及延伸获取所需要的页面内容我在这就不介绍啦！这样我们就得到了正确的li_tree。
python用selenium网页模拟时xpath无法定位元素解决方法3
最新发布
`Steven的博客
07-17 405
上两篇文章分别写了2种情况，1种是包含iframe的，详见https://blog.csdn.net/Sixth5/article/details/140342929。1种是有动态数字变化的，详见https://blog.csdn.net/Sixth5/article/details/140344343。针对一下特别棘手的，没法用定位的情况，我们直接放弃用selenium模块，直接使用鼠标模拟模块，控制鼠标位置和点击，来实现特定页面的点击按钮。需要用到的模块是pynput，具体代码如下，
python xpath text 空,Python selenium xpath获取文本为空
weixin_33410914的博客
03-25 1245
所以我有了这个link，我试图从XPath //div[@class='titlu']中获取文本，但由于某些原因，有时我得到的文本应该是什么样子，而有时我收到的是一个空字符串，即使站点包含该文本。在我尝试了什么：wait = WebDriverWait(self.driver, 10)wait.until(EC.presence_of_element_located((By.PARTIAL_LIN...
解决Python用xpath爬取不到数据的一个思路
Cnc2014的博客
07-01 405
解决Python用xpath爬取不到数据的一个思路，希望对大家有所帮助。
python用selenium网页模拟时xpath无法定位元素解决方法2
`Steven的博客
07-16 414
我们发现1721110144093这个数字在网页代码中是存在的，所以解决方法是使用正则定位抓取数字，然后拼接出xpath再用于定位元素。)精准定位数字的位置，由于网页代码中有多个重复内容，所以使用list容器，再使用data[1]，即list里的第一个元素，准确把数字提取出，然后拼接，就拿到最终的动态变化的xpath啦！本篇写第2种情况，就是xpath定位的元素中有变化的数字，比如wb这个上传视频的网址，“上传视频”的按钮，我们点击copy xpath后，得到的xpath是//
Xpath定位列表返回为空
m0_63097763的博客
08-09 1117
Xpath定位列表返回为空，返回为空的原因可能是以下几种可能性之一： XPath路径错误。 动态加载内容：有些网页使用JavaScript来动态加载内容，XPath可能无法直接捕捉到动态加载的元素。如果视频是通过JavaScript添加到页面上的，可能需要使用Selenium或其他工具来模拟浏览器行为，并等待视频加载完成后再查找它。 视频标签不存在。要解决动态加载内容的问题，可以尝试使用Selenium或其他工具来模拟浏览器行为。Selenium是一个自动化测试工具，可以模拟用户在浏览器中的行为，包括加载页
Python爬取xpath为空的解决方法
qq_52722582的博客
10-27 1288
所以路径不应该写img/@src,要以源代码路径为为准 ，改成img/@data-lazy-img!有小伙伴在爬取内容的适合发现，咦？明明复制过来的xpath路径，怎么会错呢！这是开发者工具看到的图书图片 标签及内容。这是源代码对应的图书图片 标签及内容。废话不多说，直接给出解决3个方案。分享到此结束，下课~
用XPath解析，输出为空
程天爽的博客
06-13 722
Xpath问题
爬虫使用xpath解析网页出现空列表的终极解决方案！
termiliter的博客
09-15 1605
点击检查页面的网络，可以看见不同的url传输的数据，来进行异步加载，这种技术在视频网站应用更广。，此时就需要读取不同的url较为复杂，本文不赘述，以后有空发文深刻探讨。一. 查看自己的xpath是否正确：可以通过网页检查（f12）然后右键复制xpath,最好两个都试试也就是完整的xpath又是会犯病，注意一点就是：当xpath出现。我知道这是一个很小的问题，从一开始就知道，但还是解决了一天，为了避免有别人也踩坑，给出。通俗说也就是一个网页可以分开加载，造就不同的连接，其实是不存在的，例如。
Java使用JSONPath解析JSON完整内容详解
10-15
Java使用JSONPath解析JSON完整内容详解 ...JsonPath为处理JSON数据提供了一种非常灵活且强大的方式，特别是在处理嵌套结构和条件筛选时，JsonPath比传统的JSON处理库提供了更为简洁和直观的查询方法。
xpath的jar包
07-26
在使用XPath的jar包时，首先需要将其添加到项目的类路径中。对于Jaxen，你可以在解压后的文件中找到对应的jar文件，比如`jaxen-1.x.x.jar`，然后根据你的构建系统（如Maven或Gradle）将其作为依赖引入。如果你使用的...
Android应用源码之28.使用DOM和pull解析XML.zip
12-04
它不需要将整个XML文档加载到内存，而是通过移动解析器在XML流中向前推进，每当遇到一个新的XML事件（如开始标签、结束标签等）时，就会触发相应的回调函数。这种方式更适合处理大型XML文件，因为它节省了内存并允许...
能够解析XML的程序.rar_XML 解析_xml_解析xml
09-14
在上述代码中，`ET.parse()`函数解析XML文件并返回一个ElementTree对象，`getroot()`方法获取根元素。然后我们可以通过递归遍历元素来处理XML内容。 XML还支持DTD（Document Type Definition）和XSD（XML Schema ...
多线程爬虫出现报错AttributeError: ‘NoneType’ object has no attribute ‘xpath’
12-21
这个错误通常意味着尝试访问一个None对象的属性，而这个属性在None类型中并不存在，例如在使用lxml库中的etree模块解析HTML或XML文档时，可能因为请求返回的数据为空或者解析失败导致。 二、问题 问题出现在一个...
scrapy里面的response.xpath(“用xpath插件找打的路径“)返回值为空?
weixin_52021256的博客
10-17 750
response.xpath("用xpath插件找打的路径")返回值为空? 1.可能是因为路径是有问题的 2.可能是start_urls的路径是有问题的，可以从network中找找路径，复制一下
关于爬虫中xpath返回为空的问题
热门推荐
me_to_007的博客
05-30 2万+
关于爬虫中xpath返回为空的问题
python xpath定位不到_python3中使用xpath无法定位，为什么一直返回空列表？
weixin_39598472的博客
12-04 633
tbody问题:在爬去某些网站一些信息的时候，xpath工具上显示类容是正确的，但是在scrapy代码中一直返回空列表Scrapy的部分代码：class LotteryspiderSpider(scrapy.Spider):#爬虫名字name = 'LotterySpider'#允许的域名allowed_domains = ['www.lottery.gov.cn']#入口URL，扔到调度器sta...
xpath找不到东西
Jayj1997的博客
09-26 1116
我的爬虫学习xpath找不到东西 xpath找不到东西 上午刚出现了个xpath+text（）找不到东西，下午就遇到了xpath找不到东西，这整的。。。 xpath是这个 /html/body/div[4]/div[2]/div[2]/ul/li[3]/table/tbody/tr[2]/td[3]/a/@href 在浏览器的xpath插件也试过了没问题，问了问同事也说不知道，最后百度了一会发现...
xpath判断某个元素的content-desc不为空
06-12
在 Appium 中，`content-desc` 属性一般用于 Android 平台中的元素描述，可以使用如下 XPath 表达式来判断某个元素的 `content-desc` 属性不为空： ``` //*[@content-desc and string-length(@content-desc) > 0] ``` 在该表达式中，`@content-desc` 表示选择元素的 `content-desc` 属性，`string-length()` 函数用于计算 `content-desc` 属性值的长度，如果长度大于 0，则表示该属性不为空，`@content-desc and string-length(@content-desc) > 0` 表示同时满足这两个条件。 如果需要选择某个特定元素，可以将 `*` 替换为该元素的标签名，例如： ``` //android.widget.Button[@content-desc and string-length(@content-desc) > 0] ``` 该表达式表示选择所有 `content-desc` 属性不为空的 `android.widget.Button` 元素。 注意：在 XPath 中，空字符串和不存在的属性是不同的，如果需要同时判断属性存在且不为空，需要使用 `and` 连接两个条件。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值