XPath语法在Python中无值

已于 2022-11-21 19:56:06 修改
阅读量593 收藏 1
点赞数 2
分类专栏： 网络爬虫 文章标签： python
于 2022-11-21 19:55:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48353691/article/details/127971281
版权

爬取网页信息时，XPath语法没有问题，得到了我们想要的数据，但是语法在Python代码中却得不到值？

原因就是我们右键检查到的代码未必是真的，所以我们要查看网页的源代码，然后分析层级结构，再修改XPath语法

切记：查看网页源代码！！！

汪宝儿
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python爬虫为什么xpath路径正确却检索不到内容_中国知网爬虫
weixin_39796152的博客
01-20 4984
一、知网介绍提起中国知网，如果你曾经写过论文，那么基本上都会与中国知网打交道，因为写一篇论文必然面临着各种查重，当然翟博士除外。但是，本次重点不在于写论文跟查重上，而在于我们要爬取知网上一些论文的数据，什么样的数据呢？我们举一个例子来说，在知网上，搜索论文的方式有很多种，但是对于专业人士来说，一般都会使用高级检索，因为直接去查找作者的话，容易查找到很多重名作者，所以我们本次的爬虫也是使用...
python Xpath语法的使用
01-21
一、XMl简介 （一）什么是 XML XML 指可扩展标记语言...他们两者都是用于操作数据或者结构数据，在结构上大致相同的，但他们在本质上却存在着明显的区别。 数据格式 描述 设计目标 XML Extensible M
Python3 xml.etree.ElementTree支持的XPath语法详解
09-17
主要介绍了Python3 xml.etree.ElementTree支持的XPath语法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python爬取数据返回空列表_Xpath在选择器中正确，在代码中返回的是空列表问题...
weixin_39712865的博客
11-29 1871
一、问题：在进行爬虫的时候我们会用到xpath解析html文件，但是会有一种情况就是在xpath选择器中可以使用，但是在代码中就无法使用的情况。二、原因：1.是元素中有tbody的原因，这个元素是html生成时产生的，在使用xpath解析的时候无法解析，因此返回的列表为空值。2.是因为没有写入获取的内容。比如在xpath选择其中可以使用但是在解析中没有带入//text()三、解决办法：1.因此解决...
Python用lmxl的xpath解析定位元素报错的问题
xkukeer的博客
04-28 2088
今天要解析一个网页，能定位到元素，但是用Python解析的时候老报错。记录下解决过程： 目的： 要从网页上找一个元素，定位到元素后，获取ta。 错误： 能定位到元素，但是代码无法获取对应的值，总是报：sequence item 0: expected str instance, lxml.etree._Element found 下面是解决过程，不想看过程的话，直接翻到底部看结果。 解决过程： 1、源码（报错的版本）： import faker import requests from lxml impor
BUG1：关于xpath语法，在xpath helper与开发者工具中能正常显示,但是在scrapy框架文件里显示为none或空列表的问题
qq_40712579的博客
07-02 912
首先，在xpath helper中如下： 然后，在vscode中使用 response.xpath('/html/body/div[@class="main"]/div[@id="centerm"]/div[@class="bdsub"]/dl[@id="content"]/dd[1]/table/tbody/tr[2]/td[@class="L"]//a/text()').get() 结果为None 使用response.body()将html文件下载后，对比发现html文件中没有tbody.
为什么浏览器上xpath可以获取数据，python中无法获取
python伊甸园的博客
09-18 5443
偶尔我们在写爬虫的时候会遇到这样一个问题，在浏览器上写的xpath语法明明可以获得数据，但是到python里面，一模一样的xpath语法却无法得到数据，这个问题出现在哪里呢？ 原因一： 浏览器上的xpath是根据 浏览器解析了服务器返回过来的网页源码，两者可能存在一定差异，比如部分标签不一样。 如今的浏览器是非常智能的，如果HTML缺少些标签，也会帮助服务器返回过来的源码自动补全，导致标签上存在差异。 最准确的获取方式：查...
【Scrapy】确认xpath没问题但是爬取不到数据
qq_51527550的博客
11-22 706
方法：（以Edge浏览器示范）在浏览器中点开设置，搜索“站点权限”，找到“JavaScript"，然后点进去，将”允许“的开关关掉。禁用JavaScript之后，拿之前能爬取成功的当当网检验，可以看到禁用之后，还是可以看到图书信息的。**原因：**如果目标网站使用JavaScript来渲染页面内容，Scrapy默认情况下可能无法获取到动态生成的内容。“print(”===============")"能执行，说明没有反爬，但是却没有获取到想要的div。如题，爬取爱彼迎首页时，返回的数据为空，即返回[]
Python爬虫:从后端分析为什么你爬虫爬取不到数据
坚持不懈的大白的博客
06-08 5593
仅仅是小编总结的三点而已，可能不是很全面，如果之后小编了解到新的知识点，可能还会增加的哈！
关于xpath正确仍然返回空列表的原因
无唔吾
01-14 2425
1.元素中有tbody，xpath无法解析 2.网页有js渲染，requests获取的源代码是渲染前的代码，xpath解析不到这个内容所以返回空 3.获取到的源代码被注释掉了
爬虫xpath明明在页面能够解析到，但是在代码却解析不出来
前方的路在刚开始
09-16 4523
解决方式，使用xpath解析后的element对象，打印一下（结果是源码的形态）。不要以页面为准，而要以源码为准（右键查看源代码） 排错方式: 打印element代码 string = etree.tostring(table, encoding='utf-8').decode('utf-8') print(string) 1.图中tr是在tbody里面，但是代码获取不到，显示没有这个节点 2.但是在源码上却是叫table ..
Python的Xpath介绍和语法详解
12-22
XPath是一门在XML和HTML文档中查找信息的语言，可以用来在XML和HTML文档中对元素和属性进行遍历 XPath的安装 Chrome插件XPath Helper 点Chrome浏览器右上角：更多工具—–扩展程序—–谷歌商店——–勾选XPath ...
Python爬虫基础之XPath语法与lxml库的用法详解
12-23
本来打算写的标题是XPath语法，但是想了一下Python中的解析库lxml，使用的是Xpath语法，同样也是效率比较高的解析方法，所以就写成了XPath语法和lxml库的用法 XPath 即为 XML 路径语言，它是一种用来确定 XML（标准...
爬虫使用xpath解析时返回为空，获取不到相应的元素的原因和解决办法
热门推荐
小鱼干儿的博客
04-22 1万+
xpath写的对，但是返回值为空 在写爬虫的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，通常会遇到会获取不到相应元素的情况 原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构 我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码 所以根据修改后的xpath解析源代码会找不到相应的元素 ...
XPath里面几种定位不到数据的解决办法
qq_36449202的博客
07-28 1万+
1.缩短定位路径，利用属性定位，比序列定位好像好用一些； 2.tbody 标签是个坑，去掉它； 3.查看获取的HTML源码中有没有想要的数据，有的是获取不到的，； 4.学习一下正则表达式，配合使用； ...
爬虫代码成功运行完没有结果
ZZF202010192的博客
05-01 1484
这是我运行的代码，去爬图片，但试了好几次都不行，而且我电脑上有lxml这个程序包啊，请教各位大佬该怎么解决。 import requests from lxml import etree from urllib import request address = 'https://www.huya.com/g/lol' house = requests.get(address) box = house.text openbox = etree.HTML(box) allpicture = openbox.
爬虫关于xpath在代码中返回为空的问题
Lin_junhan的博客
08-27 3747
在爬取的过程中可能会遇到在浏览器中的xpath插件中输入抽取规则后能相应的提取想要的内容，但是将这个xpath提取规则放入代码中却无法提取到内容的情况，这是可以留意下以下是否在xpath的提取规则中包含tbody标签。 要注意一下，这里的主要问题是tbody标签的问题，网页返回本身是没有这个标签（还是得仔细看），是浏览器规范html元素中加上的，所以xpath路径中使用tbody标签就返...
Python解析数据空显示
老王玩编程
10-03 1735
描述:问世间bug为何物，直教人欲罢不能。来了来了，今天所描述的是Python爬取网站源码Xpath解析数据时候遇到的一个奇奇怪怪的bug。简单来说就是在浏览器中的Xpath路径显示需要抓取的数据了 但是拿到代码中 tree.xpath(解析)的时候 输出数据一直是空就很 大无语。。。。。。
【Python】Python中变量或者函数加下划线‘_‘的含义
最新发布
yangweipeng708的博客
05-14 663
理解这些约定可以帮助Python开发者编写更清晰、更Pythonic的代码，并理解其他Python代码中的命名习惯。）通常用来指示特定的编程约定或用法，这些约定主要关乎变量和函数的可访问性以及预期的使用范围。在Python中，变量或函数前面加一个下划线（
python elementtree xpath语法
08-29
XPath是一种用于在XML文档中定位元素的语法。在Python中，我们可以使用ElementTree模块来解析和操作XML文档，并使用XPath语法来定位和选择XML元素。 ElementTree模块提供了Element类，它代表了XML文档中的元素。我们可以通过调用Element类的find()方法来使用XPath。以下是一些常用的XPath语法： 1. 选择元素：使用路径来选择元素。例如，"/bookstore/book"将选择位于根元素下的bookstore元素中的所有book元素。 2. 属性匹配：使用"@"符号来匹配元素的属性。例如，"/bookstore/book[@category='Children']"将选择category属性为Children的book元素。 3. 文本内容：使用"text()"函数来选择元素的文本内容。例如，"/bookstore/book[price<10]/title/text()"将选择价格小于10的书籍的标题。 4. 选择多个路径：使用"|"符号来选择多个路径。例如，"/bookstore/book/title | /bookstore/book/price"将选择book元素下的所有title和price元素。 5. 通配符选择：使用"*"符号来选择任意元素。例如，"//book"将选择文档中所有book元素，不论其层级。 ElementTree模块的XPath支持较为完整，可以使用较复杂的路径表达式和函数来进行选择和筛选。我们还可以使用findall()方法来选择多个元素，或者使用iter()方法来迭代地获取元素。 总而言之，XPath是一种强大而灵活的语法，可用于在Python的ElementTree模块中定位和选择XML文档中的元素。通过使用XPath，我们能够更方便地处理和操作XML数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汪宝儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值