关于xpath正确仍然返回空列表的原因

最新推荐文章于 2023-09-16 20:30:42 发布
最新推荐文章于 2023-09-16 20:30:42 发布
阅读量2.6k 收藏 5
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_66445364/article/details/128681251
版权

1.元素中有tbody，xpath无法解析

2.网页有js渲染，requests获取的源代码是渲染前的代码，xpath解析不到这个内容所以返回空

3.获取到的源代码被注释掉了

无唔吾
关注
Xpath在选择器中正确，在代码中返回的是空列表问题
weixin_30809173的博客
04-30 880
Xpath在选择器中正确，在代码中返回的是空列表问题 一、问题： 在进行爬虫的时候我们会用到xpath解析html文件，但是会有一种情况就是在xpath选择器中可以使用，但是在代码中就无法使用的情况。 二、原因： 1.是元素中有tbody的原因，这个元素是html生成时产生的，在使用xpath解析的时候无法解析，因此返回的列表为空值。 2.是因为没有写入获取的...
python爬取数据返回空列表_Python用xpath爬取数据返回空列表解决
weixin_39918043的博客
11-29 1264
笔者以爬取2018年AAAI人工智能顶会论文元数据为例。其中包括标题(title)和摘要(abstract)等字段前言：首先需要查看该网页是否可以爬取，通过在URL后加入/robots,txt可以查看。①tbody问题笔者通过谷歌浏览器选取上图红框内容的xpath如下：from lxml import etreeimport requestsurl = 'https://aaai.org/ocs/...
Xpath定位列表返回为空
m0_63097763的博客
08-09 1385
Xpath定位列表返回为空，返回为空的原因可能是以下几种可能性之一： XPath路径错误。 动态加载内容：有些网页使用JavaScript来动态加载内容，XPath可能无法直接捕捉到动态加载的元素。如果视频是通过JavaScript添加到页面上的，可能需要使用Selenium或其他工具来模拟浏览器行为，并等待视频加载完成后再查找它。 视频标签不存在。要解决动态加载内容的问题，可以尝试使用Selenium或其他工具来模拟浏览器行为。Selenium是一个自动化测试工具，可以模拟用户在浏览器中的行为，包括加载页
Python用xpath爬取数据返回空列表解决 python爬虫，关于使用xpath写爬虫获取不到内容， 获取到空列表的解决方案
weixin_45437533的博客
11-26 1万+
可能的情况： 1、url的问题 2、xpath路径问题 3、网页标签class，id属性等一定要注意看后面有没有空格 关于xpath路径问题 之前在做的爬虫都是用的xpath去获取内容，又想偷懒，所以就直接在源码那里直接复制路径， 然后就很容易踩雷了（我算是踩了很多坑了，不知道有没有小伙伴和我一样踩过这样的坑）： 此时可能会得到如下路径： /html/body/div[2]/div[6]/table/tbody/tr[6]/td[1]/a/span 然后跑开始爬虫，结果...
python xpath 返回列表为空求解
zlwyp的博客
08-30 1199
python url='https://www.pearvideo.com/category_31' headers=headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'} se=requests.session() main_url='https://www.pearvideo.com..
关于xpath解析出空列表的原因
Sanzy_k的博客
07-21 8630
第一种，网上搜的很多关于这方面的内容都是与tbody标签有关，解决方法无非是去掉这个标签 第二种，网页标签class，id属性等一定要注意看后面有没有空格 第三种，xpath表达式正确，仍然解析不出，一定要查看对应网址的网页源码，即检查工具response部分，看源码是否是如下样式! 该样式代表源码被注释掉，所以即使xpath表达式正确也仍然解析不到，解决方法有两种，其一可以更换比较低级的user-agent ，再者是 def parse_data(self,data): #提取数据一切以
使用Xpath获取到了空列表
weixin_44998052的博客
07-12 1097
在学习爬虫的时候 准备爬取天天基金网的数据 结果发现拿到了页面xpath解析出来却是"[]" 错误代码： /html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tbody/tr[1]/td[1] 正确代码： Jname = html.xpath(’/html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tr[1]/td[1]/text()’) 把tbody去掉就对了
关于python使用xpath爬取网页内容返回值为空列表的解决方法
最新发布
jiaboboyu的博客
09-16 1280
1、首先看看你的这段代码中是否有 "tbody"存在 ，把"tbody"去掉。
python xpath定位不到_python3中使用xpath无法定位，为什么一直返回空列表？
weixin_39525313的博客
12-04 1353
tbody问题:在爬去某些网站一些信息的时候，xpath工具上显示类容是正确的，但是在scrapy代码中一直返回空列表Scrapy的部分代码：class LotteryspiderSpider(scrapy.Spider):#爬虫名字name = 'LotterySpider'#允许的域名allowed_domains = ['www.lottery.gov.cn']#入口URL，扔到调度器sta...
为什么xpath爬取b站第二页视频返回空列表
06-08
2. 第二页的视频列表的XPath表达式不正确，导致无法匹配到正确的元素。可以尝试使用浏览器的开发者工具来查看第二页的视频列表的XPath表达式是否正确。 3. B站对爬虫进行了反爬虫处理，导致无法正常获取数据。可以...
xpath解析列表为空的情况
qq_44821149的博客
06-25 712
scrapy自带xpath，不需要通过etree.HTML解析。还有一点就是scrapy的xpath以后要.extract()一下，才变成列表类型，这一点和etree有点区别。发现这种写法解析不出来数据：（这种绝对路径的写法）这种相对路径的写法可以解析出数据（用的相对路径）
利用xpath爬取百度贴吧内容返回空列表的问题
weixin_51962852的博客
10-29 1091
利用xpath爬取百度贴吧内容返回空列表 问题描述： 用etree爬取百度贴吧的时候，用xpath获取不到内容 (虽然是个小问题但也让我花了好久！) 如下：想要获取图下方框中的内容 写的爬虫获取页面内容代码: import requests from lxml import etree base_url = "https://tieba.baidu.com/f?kw=英雄联盟&ie=utf-8&pn=0" head = { 'User-Agent':'Mozilla/5.0 (W
常用日语摘抄
qq_43066440的博客
12-18 1395
鼓励人的话： ①もっとしっかりしってください 要坚强些 ②気合いいれてください 打起精神来 ③仕事に身をいれてください 专心工作吧 ④ぼんやりしないでよ 别发呆了 ⑤ぼーっとしないでください 别迷迷糊糊的了 ⑥もっと、やる気だしてよ 再加把劲吧 ⑦やることはやってください 有事干事吧 ⑧ほかのみんなも頑張ってるんだから 其他各位都在努力着呢 安慰： ①大丈夫ですよ、うまくいかないことだってあるん...
Xpath 定位元素，获取text（）返回为None
lelelogaoe的博客
10-28 2649
Xpath，解析HTML，定位不到元素，或解析元素为None
【Python XPath】使用XPath返回空值
HR的博客
03-22 3408
使用XPath返回空值 再练习使用XPath来爬取数据时，出现了以下情况，本人由于想要快捷，直接使用浏览器复制，结果返回了空的列表，为了验证，本人去浏览器搜索栏查看 一开始以为是复制错了，就自己写全 可还是返回了坑空列表 于是去网上查询，得到结果：浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tbody，导致读取失败，在此处直接在路径中去除tbody即可。 于是将XPath语句写成: //*[@id="billboard"]/div[2]/table/tr[1]/td[2]/a 或 /
关于xpath获取数据为空的原因
热门推荐
weixin_45345211的博客
10-29 1万+
关于xpath获取数据为空的原因 最近在自学爬虫的过程中，使用xpath获取数据，可总是返回空列表，发现了一个问题： 我们在浏览器中的开发者工具中根据标签所写的xpath路径，没有出错的情况下返回列表为空，从网上发现了两种情况： 路径中含有tbody标签，这个很简单，只用将tbody删掉即可 所爬取的数据被注释，这个解决也比较容易，replace注释的符号。 也就是我刚发现的，我所想要的属性名为浏览器修改，导致返回为空，如下图：（开发者工具中显示的属性名为src） 但是如果我在xpath路径中吸入//a/
『python爬虫』异常错误：request状态码是200，但是使用full xpath路径解析返回得到是空列表（保姆级图文）
MZH
05-05 1512
『python爬虫』异常错误：request状态码是200，但是使用full xpath路径解析返回得到是空列表（保姆级图文）
使用xpath解析时返回为空，获取不到相应的元素的解决方法
mys328的专栏
08-09 3868
的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，明明自己写的xpath语句正确，但是返回值还是为空。原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构。我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码。总结 当使用xpath获取不到向相应的元素的时候，观察一下源码结构，根据源码进行解析。缺少一个tbody标签，
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值