【Python XPath】使用XPath返回空值

已于 2022-03-22 08:53:40 修改
阅读量3.4k 收藏 7
点赞数 3
分类专栏： 爬虫 文章标签： python xpath
于 2022-03-22 07:33:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heiren_a/article/details/123627001
版权

使用XPath返回空值

再练习使用XPath来爬取数据时，出现了以下情况，本人由于想要快捷，直接使用浏览器复制，结果返回了空的列表，为了验证，本人去浏览器搜索栏查看

在这里插入图片描述
一开始以为是复制错了，就自己写全

在这里插入图片描述
可还是返回了坑空列表

于是去网上查询，得到结果：浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tbody，导致读取失败，在此处直接在路径中去除tbody即可。

于是将XPath语句写成:

//*[@id="billboard"]/div[2]/table/tr[1]/td[2]/a

或

/html/body/div[3]/div[1]/div/div[3]/div[5]/div[2]/table/tr[1]/td[2]/a
飝鱻.
关注
专栏目录
python爬虫xpath出来空值_Python爬虫之数据解析（XPath）
weixin_30072453的博客
02-21 3583
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历，而将 HTML文档转换成 XML文档后，就可以用 XPath 查找 HTML 节点或元素。XML 文档的特点：XML 文档中的每个成分都是一个节点。整个文档是一个根节点；每个 XML 标签是一个元素节点；包含在 XML 元素中的文本是文本节点；每一个 XML 属性是一个属性节点；注释则属于...
Xpath 匹配节点的内容为空（inner text 为空）
farawayplace613的专栏
02-17 1万+
需求是从以下写出能从下面的xml中取出Title内容（inner text）为空的节点的XPath：  Asp.net 22.5 Abraham 22.5 Abraham 容易写出错误的xPath有: //Book[Title[text()='']] /
Xpath定位列表返回为空
m0_63097763的博客
08-09 1443
Xpath定位列表返回为空，返回为空的原因可能是以下几种可能性之一： XPath路径错误。 动态加载内容：有些网页使用JavaScript来动态加载内容，XPath可能无法直接捕捉到动态加载的元素。如果视频是通过JavaScript添加到页面上的，可能需要使用Selenium或其他工具来模拟浏览器行为，并等待视频加载完成后再查找它。 视频标签不存在。要解决动态加载内容的问题，可以尝试使用Selenium或其他工具来模拟浏览器行为。Selenium是一个自动化测试工具，可以模拟用户在浏览器中的行为，包括加载页
python xpath 返回列表为空求解
zlwyp的博客
08-30 1208
python url='https://www.pearvideo.com/category_31' headers=headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'} se=requests.session() main_url='https://www.pearvideo.com..
pycharm 中的xpath返回值一直为空!
qq_40421324的博客
04-25 1986
用re的话也可以获得数据，就是用xpath不行，有大哥方便指点指点吗? 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们...
利用xpath爬取贴吧时返回的列表为空的问题解决方法
ning_213的博客
07-18 2701
不同的浏览器,web服务器发送的页面也会不同,ie浏览器是标准的，所以不管任何服务器发送给ie的页面都是标准的，所以我们在用xpath解释页面的时候用的请求头要用IE的User-Agent...
利用PYTHON爬虫，Xpath路径正确但是返回数据为空
最新发布
weixin_55322683的博客
12-11 1588
7.34万741万
python xpath获取多个li标签内容是空？还得结合正则表达式来爬取信息
net_code的博客
05-26 3520
python问题： xpath获取多个li标签内容是空的？ from scrapy.selector import Selector 想通过Selector爬取网站信息，同时保存多个li标签中的title标签值，总是得到空的列表。 names = sel.xpath('//*[@class="list-box"]/li/a/@title') 因为title标签内容和a标签文本内容一致，想获取文本，结果也为空列表。 name=sel.xpath('//div/ul[@class="list-box"]//
xpath返回空值的解决方法
changan
09-11 1104
xpath返回空值的解决方法
python xpath语法-Python爬虫之XPath语法
weixin_37988176的博客
11-01 936
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。XPath 是 W3C 标准,XPath 于 1999 年 11 月 16 日 成为 W3C 标准。XPath 被设计为供 XSLT、XPointer 以...
Python用xpath爬取数据返回空列表解决
热门推荐
SL_World的博客
12-08 4万+
笔者以爬取2018年AAAI人工智能顶会论文元数据为例。其中包括标题(title)和摘要(abstract)等字段 ①tbody问题 URL:2018AAAI的第一篇论文元数据页面 页面如下： 笔者通过谷歌浏览器选取上图红框内容的xpath如下： from lxml import etree import requests url = 'https://aaai.org/ocs/index....
关于python使用xpath爬取网页内容返回值为空列表的解决方法
m0_57011777的博客
06-20 1万+
在使用XPath爬取网站中遇到的 写完代码发现运行后返回值为 [] 空列表解决方法：1、首先看看你的这段代码中是否有 "tbody"存在 ，把"tbody"去掉 为什么呢？ 因为在用xpath解析网页的时候，会遇到tbody标签。tbody标签有的时候可以解析，有的时候不可以解析，遇到tbody标签时要看网页源代码，如果源代码有tbody标签，就要加上tbody标签才能解析。 如果源代码没有tbody标签，那么tbody标签是浏览器对html文本进行一定的规范化而强行加上去的，这时如果xpath中有tb
关于爬虫中xpath返回为空的问题
me_to_007的博客
05-30 2万+
关于爬虫中xpath返回为空的问题
xpath语法中，如何查询值为空的节点？
執筆冩回憶
06-07 5345
xml.xpath("//[XX[.!='']]")------------------------------------------------------------------------------------------------------类似于： //td[.!= '']if each.xpath("./td[2]/text()[.!= '']"): self.posi...
使用Xpath获取到了空列表
weixin_44998052的博客
07-12 1108
在学习爬虫的时候 准备爬取天天基金网的数据 结果发现拿到了页面xpath解析出来却是"[]" 错误代码： /html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tbody/tr[1]/td[1] 正确代码： Jname = html.xpath(’/html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tr[1]/td[1]/text()’) 把tbody去掉就对了
python爬虫xpath怎么获取别的网址_Python爬虫十六式 - 第四式: 使用Xpath提取网页内容...
weixin_39583162的博客
12-04 1080
Xpath：简单易用的网页内容提取工具学习一时爽，一直学习一直爽 !Hello，大家好，我是Connor，一个从无到有的技术小白。上一次我们说到了 requests 的使用方法。到上节课为止，我们已经学完了所有的 Python 常用的访问库。那么当我们获取到了访问的内容之后，我们就应该从网页上提取我们想要的内容了。所以，今天我们来讲网页内容的常用提取工具之一：Xpath 。相比于 Beautifu...
Python爬虫之XPath语法
coco3600的博客
05-20 315
xpath ，全称 XML Path Language ，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。 ...
利用xpath爬取百度贴吧内容返回空列表的问题
weixin_51962852的博客
10-29 1098
利用xpath爬取百度贴吧内容返回空列表 问题描述： 用etree爬取百度贴吧的时候，用xpath获取不到内容 (虽然是个小问题但也让我花了好久！) 如下：想要获取图下方框中的内容 写的爬虫获取页面内容代码: import requests from lxml import etree base_url = "https://tieba.baidu.com/f?kw=英雄联盟&ie=utf-8&pn=0" head = { 'User-Agent':'Mozilla/5.0 (W
关于xpath正确仍然返回空列表的原因
无唔吾
01-14 2722
1.元素中有tbody，xpath无法解析 2.网页有js渲染，requests获取的源代码是渲染前的代码，xpath解析不到这个内容所以返回空 3.获取到的源代码被注释掉了
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值