使用Xpath获取到了空列表

最新推荐文章于 2023-09-15 13:46:01 发布
最新推荐文章于 2023-09-15 13:46:01 发布
阅读量1.1k 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44998052/article/details/118683364
版权

在学习爬虫的时候 准备爬取天天基金网的数据
结果发现拿到了页面xpath解析出来却是"[]"
错误代码：
/html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tbody/tr[1]/td[1]
正确代码：
Jname = html.xpath(’/html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tr[1]/td[1]/text()’)
把tbody去掉就对了
原因是因为浏览器会对html文本进行一定的规范化
去掉xpath中的tbody即可
菜鸟踩坑

猿来乐
关注
浏览器用xpath获取一直为空
Cheng.py的博客
08-04 3363
这两天闲的无聊，随便爬了点小说和趣图，因为好久没使用xpath了，所以遇到了点问题，就是xpath值一直为空，举个例子: 爬取小说网站。 使用xpath工具查询小说网站导航栏的xpath路径是这样子的: 值是酱紫的: 用python测试下xpath import requests from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHT
xpath获取到的为空
Ducunyu的博客
10-04 2234
通过运行如下代码，返回的是一个空列表 # 模拟用户登录csdn学院，查看到该用户购买的课程，并拿到已经购买的课程名称 # 对已登录用户的已购买课程的request url进行分析 # 然后创建一个request，向该网站发送request请求 # request请求得到响应url， # response的内容是一个url对象 # 将url对象转换为python对象 # 本地操作该python对象，并存储到本地，以HTML形式 # 将response的内容存放在本地、存放为一个静态的HTML文件 impor
Xpath定位列表返回为空
m0_63097763的博客
08-09 1563
Xpath定位列表返回为空，返回为空的原因可能是以下几种可能性之一： XPath路径错误。 动态加载内容：有些网页使用JavaScript来动态加载内容，XPath可能无法直接捕捉到动态加载的元素。如果视频是通过JavaScript添加到页面上的，可能需要使用Selenium或其他工具来模拟浏览器行为，并等待视频加载完成后再查找它。 视频标签不存在。要解决动态加载内容的问题，可以尝试使用Selenium或其他工具来模拟浏览器行为。Selenium是一个自动化测试工具，可以模拟用户在浏览器中的行为，包括加载页
requests使用xpath返回空列表
weixin_42912498的博客
12-23 1177
在浏览器上使用xpath可以提取到想要的内容，但将xpath放入到代码中却返回空列表。将网页html抓下来后也没发现结构发生变化或者tbody之类的，于是采用正则表达式来提取内容。 想要提取的a.html: 代码如下： with open("a.html","r") as r: html = r.read() pattern = re.compile(r"<span&gt...
xpath定位元素返回列表为空
热门推荐
Liubingzhe
01-23 2万+
在爬取一些网站的时候，结合from lxml import etree库中etree.HTML()可以构造一个符合xpath语法的html文本，为了方便，我们可以F12-copy xpath获取该元素在网页中的xpath语法，但是其复制的为绝对路径，在某些时候是无法定位出元素的。 HTML（text， parser = None， base_url = None） 从字符串常量解析HTML文档。...
python xpath 返回列表为空求解
zlwyp的博客
08-30 1229
python url='https://www.pearvideo.com/category_31' headers=headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'} se=requests.session() main_url='https://www.pearvideo.com..
关于xpath解析出空列表的原因
Sanzy_k的博客
07-21 8758
第一种，网上搜的很多关于这方面的内容都是与tbody标签有关，解决方法无非是去掉这个标签 第二种，网页标签class，id属性等一定要注意看后面有没有空格 第三种，xpath表达式正确，仍然解析不出，一定要查看对应网址的网页源码，即检查工具response部分，看源码是否是如下样式! 该样式代表源码被注释掉，所以即使xpath表达式正确也仍然解析不到，解决方法有两种，其一可以更换比较低级的user-agent ，再者是 def parse_data(self,data): #提取数据一切以
Xpath中text()方法获取列表为空问题解决方法
qq_61177928的博客
02-10 2032
When we use XPath to crawl web pages, we may encounter such a problem: the list printed using the text method is empty, whichcan be caused by non specified direct content. attention:text() method can only get direct content, string(.) can get whole conte.
scrapy xpath空列表_python爬虫学习（4）——scrapy框架入门
weixin_33581743的博客
01-25 224
这篇文章我们来学习使用 scrapy 框架，首先介绍一下什么是 scrapy：scrapy 是一套基于 Twisted 的异步处理框架，纯 python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。我们使用 wheel 来安装 scrapy 框架，scrapy 的 whl 包安装地址如下：https://www.lfd.uci.ed...
Xpath在选择器中正确，在代码中返回的是空列表问题
weixin_30809173的博客
04-30 900
Xpath在选择器中正确，在代码中返回的是空列表问题 一、问题： 在进行爬虫的时候我们会用到xpath解析html文件，但是会有一种情况就是在xpath选择器中可以使用，但是在代码中就无法使用的情况。 二、原因： 1.是元素中有tbody的原因，这个元素是html生成时产生的，在使用xpath解析的时候无法解析，因此返回的列表为空值。 2.是因为没有写入获取的...
利用xpath爬取百度贴吧内容返回空列表的问题
weixin_51962852的博客
10-29 1117
利用xpath爬取百度贴吧内容返回空列表 问题描述： 用etree爬取百度贴吧的时候，用xpath获取不到内容 (虽然是个小问题但也让我花了好久！) 如下：想要获取图下方框中的内容 写的爬虫获取页面内容代码: import requests from lxml import etree base_url = "https://tieba.baidu.com/f?kw=英雄联盟&ie=utf-8&pn=0" head = { 'User-Agent':'Mozilla/5.0 (W
scrapy框架中利用xpath获取网页内容为空，而xpath书写完全正确
baidu_32542573的博客
03-15 9682
如图：利用xpath解析结果： imgs_href = response.xpath('//div[@class="box picblock col3 masonry-brick"]/div/a')如上图：网页源代码中解析结果： imgs_href = response.xpath('//div[@class="box picblock col3"]/div/a')  总结：当解析网页时，不能仅仅...
【Python XPath】使用XPath返回空值
HR的博客
03-22 3469
使用XPath返回空值 再练习使用XPath来爬取数据时，出现了以下情况，本人由于想要快捷，直接使用浏览器复制，结果返回了空的列表，为了验证，本人去浏览器搜索栏查看 一开始以为是复制错了，就自己写全 可还是返回了坑空列表 于是去网上查询，得到结果：浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tbody，导致读取失败，在此处直接在路径中去除tbody即可。 于是将XPath语句写成: //*[@id="billboard"]/div[2]/table/tr[1]/td[2]/a 或 /
关于xpath正确仍然返回空列表的原因
无唔吾
01-14 2771
1.元素中有tbody，xpath无法解析 2.网页有js渲染，requests获取的源代码是渲染前的代码，xpath解析不到这个内容所以返回空 3.获取到的源代码被注释掉了
关于python使用xpath爬取网页内容返回值为空列表的解决方法
m0_57011777的博客
06-20 1万+
在使用XPath爬取网站中遇到的 写完代码发现运行后返回值为 [] 空列表解决方法：1、首先看看你的这段代码中是否有 "tbody"存在 ，把"tbody"去掉 为什么呢？ 因为在用xpath解析网页的时候，会遇到tbody标签。tbody标签有的时候可以解析，有的时候不可以解析，遇到tbody标签时要看网页源代码，如果源代码有tbody标签，就要加上tbody标签才能解析。 如果源代码没有tbody标签，那么tbody标签是浏览器对html文本进行一定的规范化而强行加上去的，这时如果xpath中有tb
使用xpath返回空列表
最新发布
10-14
当你编写XPath表达式并执行它时，如果查询的结果集中找不到匹配的元素，返回的就是一个空列表或null值。例如，在Python中，如果你使用lxml库处理XML，并尝试获取某个不存在路径的节点，会得到一个空列表`[]`： ```...
XPath匹配标签使用text()判断获取结果失败/为空的问题及解决方法
aoqu6073的博客
09-27 2010
XPath当匹配标签判断text()判断内容失败的问题及解决 问题复现 在爬取网站的时候我使用XPath去抓取网页上的内容，XPath表达式来精准获取需要的标签内容。 当我对如下一段html代码编写XPath表达式抓取的时候出现了问题，代码如下。片名两个字中间有七个空格，我想要获取<dd></dd>中的内容。 <dl class="clearfl...
爬虫使用xpath解析网页出现空列表的终极解决方案！
termiliter的博客
09-15 2321
点击检查页面的网络，可以看见不同的url传输的数据，来进行异步加载，这种技术在视频网站应用更广。，此时就需要读取不同的url较为复杂，本文不赘述，以后有空发文深刻探讨。一. 查看自己的xpath是否正确：可以通过网页检查（f12）然后右键复制xpath,最好两个都试试也就是完整的xpath又是会犯病，注意一点就是：当xpath出现。我知道这是一个很小的问题，从一开始就知道，但还是解决了一天，为了避免有别人也踩坑，给出。通俗说也就是一个网页可以分开加载，造就不同的连接，其实是不存在的，例如。
Chrome复制的xpath抓取为空的问题
weixin_40576260的博客
06-02 4140
解决办法：去掉xpath中的tbody即可。原因：浏览器复制的xpath会自动优化，自己加上tbody，其实网页源代码里是没有的。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值