Python爬取xpath为空的解决方法

于 2023-10-27 10:02:29 发布
阅读量1.2k 收藏 2
点赞数 5
分类专栏： python爬虫 文章标签： python 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52722582/article/details/134069871
版权

有小伙伴在爬取内容的适合发现，咦？明明复制过来的xpath路径，怎么会错呢！

 废话不多说，直接给出解决3个方案

  1. 有的浏览器会自动生成table或者tbody标签，检查一下自己的路径有没有这些标签，有的话删除就可以
  2. 不要使用绝对路径，使用相对路径！
  3. 如果返回还是空，说明页面源代码不是这个标签属性跟开发者看到的标签属性不一样了！！

这是开发者工具看到的图书图片 标签及内容 

 这是源代码对应的图书图片 标签及内容所以路径不应该写img/@src,要以源代码路径为为准 ，改成img/@data-lazy-img!!!

分享到此结束，下课~

我是一名python爬虫小白，一直在路上从未停止。 

爬到外婆桥
关注
  • 5
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
浏览器用xpath获取一直为空
Cheng.py的博客
08-04 3160
这两天闲的无聊，随便爬了点小说和趣图，因为好久没使用xpath了，所以遇到了点问题，就是xpath值一直为空，举个例子: 爬取小说网站。 使用xpath工具查询小说网站导航栏的xpath路径是这样子的: 值是酱紫的: 用python测试下xpath import requests from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHT
python爬小说xpath导出_如何解决python xpath爬取页面得到空列表（语法都对的情况下）...
weixin_39819152的博客
12-10 1269
引言：很多网页呈现给我们的静态页面，但是实际上是由服务器端的动态页面生成的。再加上网站设有反爬虫机制，所以抓取到的页面不一定和源码相同。所以！！从源码里copy xpath，不一定能取到数据！实例：非常的简单，从百度首页上，抓取“新闻”这两个字。import requestsfrom lxml import etreeurl="http://www.baidu.com"ua={'User-Agen...
python xpath定位不到_python3中使用xpath无法定位，为什么一直返回空列表？
weixin_39598472的博客
12-04 629
tbody问题:在爬去某些网站一些信息的时候，xpath工具上显示类容是正确的，但是在scrapy代码中一直返回空列表Scrapy的部分代码：class LotteryspiderSpider(scrapy.Spider):#爬虫名字name = 'LotterySpider'#允许的域名allowed_domains = ['www.lottery.gov.cn']#入口URL，扔到调度器sta...
Python用xpath爬取数据返回空列表解决 python爬虫，关于使用xpath写爬虫获取不到内容， 获取到空列表的解决方案
weixin_45437533的博客
11-26 1万+
可能的情况： 1、url的问题 2、xpath路径问题 3、网页标签class，id属性等一定要注意看后面有没有空格 关于xpath路径问题 之前在做的爬虫都是用的xpath去获取内容，又想偷懒，所以就直接在源码那里直接复制路径， 然后就很容易踩雷了（我算是踩了很多坑了，不知道有没有小伙伴和我一样踩过这样的坑）： 此时可能会得到如下路径： /html/body/div[2]/div[6]/table/tbody/tr[6]/td[1]/a/span 然后跑开始爬虫，结果...
爬虫使用xpath解析时返回为空，获取不到相应的元素的原因和解决办法
热门推荐
小鱼干儿的博客
04-22 1万+
xpath写的对，但是返回值为空 在写爬虫的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，通常会遇到会获取不到相应元素的情况 原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构 我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码 所以根据修改后的xpath解析源代码会找不到相应的元素 ...
Python解析数据空显示
老王玩编程
10-03 1977
描述:问世间bug为何物，直教人欲罢不能。来了来了，今天所描述的是Python爬取网站源码Xpath解析数据时候遇到的一个奇奇怪怪的bug。简单来说就是在浏览器中的Xpath路径显示需要抓取的数据了 但是拿到代码中 tree.xpath(解析)的时候 输出数据一直是空就很 大无语。。。。。。
爬虫使用xpath解析网页出现空列表的终极解决方案！
termiliter的博客
09-15 1501
点击检查页面的网络，可以看见不同的url传输的数据，来进行异步加载，这种技术在视频网站应用更广。，此时就需要读取不同的url较为复杂，本文不赘述，以后有空发文深刻探讨。一. 查看自己的xpath是否正确：可以通过网页检查（f12）然后右键复制xpath,最好两个都试试也就是完整的xpath又是会犯病，注意一点就是：当xpath出现。我知道这是一个很小的问题，从一开始就知道，但还是解决了一天，为了避免有别人也踩坑，给出。通俗说也就是一个网页可以分开加载，造就不同的连接，其实是不存在的，例如。
Python爬虫返还内容为空列表
m0_73892503的博客
11-06 1346
实验室老师给了我们一个爬虫题目，需要我将新闻获取实时最新消息，并发送到微信上。 在我完成老师题目的途中， 我发现我的爬虫爬取的内容是很多个空列表，并且因此卡在这里无法运作。 经过查询资料我得知，像是新闻，资讯这种动态更新的网址， 用普通的检查获取源代码的方法，是无法获取到你想要获取的内容的。 解决方法： 1.按F12调出开发者工具。 2.点击“network”或者“网络”(可能在元素和控制栏的右边，需要滑动滑动条才可发现） 3.点击下
python xpath方法解析json
weixin_30455365的博客
08-26 762
现在移动互联网飞速发展，在测试过程中通常需要进行HTTP接口测试，而大多数http请求返回的是json数据。 然而python对josn数据的解析，就是对字典的解析，以下面这段json为例： { "ver": "6.8", "dcid": "477", "head": { "cid": "", "ctok": ""...
Python使用xpath实现图片爬取
09-17
在这个场景中，我们将讨论如何使用Python的`lxml`库结合XPath来实现图片的爬取。`lxml`库提供了高效的XML和HTML处理能力，支持XPath 1.0规范。 首先，让我们了解基本的XPath语法。XPath通过路径表达式来选取XML或...
python爬取招聘网信息并保存为csv文件
04-02
在这个场景中，我们将学习如何使用Python来爬取招聘网站上的职位信息，并将其存储为CSV文件。以猎聘网为例，我们将介绍以下关键知识点： 1. **Parsel库**： Parsel是基于XPath和CSS选择器的Python库，用于从HTML或...
python数据爬取美食网站xpath解析并将美食数据存入csv文件按照人气数据分析可视化
07-04
数据可视化：代码使用pandas库读取CSV文件中的数据，并通过sort_values方法对数据按照人气进行降序排序。然后，通过matplotlib库绘制水平柱状图，展示人气排名前10的菜品。设置中文显示，调整字体，添加标签和标题，...
python 使用xpath/lxml爬取网页表格并存CSV
12-22
0x02 爬取代码 # -*- coding: utf-8 -*-# #------------------------------------------------------------------------------- # Name: test # Author: Negoowen # Date: 2020/3/9 __Author__ = 'Negoo_wen' #-----...
python利用xpath爬取贴吧图片
03-18
源码+使用说明
python爬取数据返回空列表_Xpath在选择器中正确，在代码中返回的是空列表问题...
weixin_39712865的博客
11-29 1944
一、问题：在进行爬虫的时候我们会用到xpath解析html文件，但是会有一种情况就是在xpath选择器中可以使用，但是在代码中就无法使用的情况。二、原因：1.是元素中有tbody的原因，这个元素是html生成时产生的，在使用xpath解析的时候无法解析，因此返回的列表为空值。2.是因为没有写入获取的内容。比如在xpath选择其中可以使用但是在解析中没有带入//text()三、解决办法：1.因此解决...
python爬虫中元素定位xpath运行提示找不到的坑
weixin_44364851的博客
02-05 2110
如果出现在网站中cpoy_xpath然后代码find_element_by_xpath运行报错找不到这个元素，应该考虑是不是iframe的问题 问题1 请往上找是否可以看到这个 #document,这个说明你XPATH的地址在别一个子网页里面 问题1 解决方法 # 切换次页面,更多说明可直接百度方法名switch_to.frame web.switch_to.frame("mainFrame") # 退出次页面的方法 web.switch_to.parent_frame() 问题2 发现复制了id
Xpath定位列表返回为空
m0_63097763的博客
08-09 1068
Xpath定位列表返回为空，返回为空的原因可能是以下几种可能性之一： XPath路径错误。 动态加载内容：有些网页使用JavaScript来动态加载内容，XPath可能无法直接捕捉到动态加载的元素。如果视频是通过JavaScript添加到页面上的，可能需要使用Selenium或其他工具来模拟浏览器行为，并等待视频加载完成后再查找它。 视频标签不存在。要解决动态加载内容的问题，可以尝试使用Selenium或其他工具来模拟浏览器行为。Selenium是一个自动化测试工具，可以模拟用户在浏览器中的行为，包括加载页
关于python使用xpath爬取网页内容返回值为空列表的解决方法
最新发布
jiaboboyu的博客
09-16 1090
1、首先看看你的这段代码中是否有 "tbody"存在 ，把"tbody"去掉。
关于xpath获取数据为空的原因
weixin_45345211的博客
10-29 1万+
关于xpath获取数据为空的原因 最近在自学爬虫的过程中，使用xpath获取数据，可总是返回空列表，发现了一个问题： 我们在浏览器中的开发者工具中根据标签所写的xpath路径，没有出错的情况下返回列表为空，从网上发现了两种情况： 路径中含有tbody标签，这个很简单，只用将tbody删掉即可 所爬取的数据被注释，这个解决也比较容易，replace注释的符号。 也就是我刚发现的，我所想要的属性名为浏览器修改，导致返回为空，如下图：（开发者工具中显示的属性名为src） 但是如果我在xpath路径中吸入//a/
python爬取XPATH
09-14
要使用Python爬取XPath，你可以使用lxml库来解析HTML或XML文档，并使用XPath语法来定位和提取所需的数据。 首先，确保你已经安装了lxml库。你可以使用pip命令进行安装，如下所示： ``` pip install lxml ``` 接下来，你需要导入lxml库和requests库，并定义请求头和目标网址。例如，在爬取CSDN网站的头条博客标题时，你可以使用如下代码： ```python import requests from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36" } url = "https://www.csdn.net/" response = requests.get(url=url, headers=headers) ``` 然后，使用etree模块的HTML方法将响应文本转换为可解析的HTML格式。例如： ```python data = etree.HTML(response.text) ``` 现在，你可以使用XPath语法来定位和提取数据。例如，如果你想获取头条博客的标题和链接，你可以使用以下代码： ```python names = data.xpath("//div[@class='headlines']/div[@class='headlines-right']//div[@class='headswiper-item']/a/text()") urls = data.xpath("//div[@class='headlines']/div[@class='headlines-right']//div[@class='headswiper-item']/a/@href") blog_list = list(zip(names, urls)) for blog in blog_list: print(blog) ``` 上述代码中，我们使用XPath的定位路径来选择具有特定class值的div标签下的a标签的文本和链接。 总结起来，你需要经过以下步骤来爬取XPath： 1. 导入所需的库，包括lxml和requests。 2. 发送HTTP请求到目标网址，并获取响应。 3. 使用etree.HTML方法将响应文本转换为可解析的HTML格式。 4. 使用XPath语法来定位和提取所需的数据。 希望这可以帮助到你！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值