[2019.8.2]python scrapy xpath和xpath获取网页内容为空，但是书写完全正确

最新推荐文章于 2023-08-09 15:34:20 发布
最新推荐文章于 2023-08-09 15:34:20 发布
阅读量1k 收藏 1
点赞数
分类专栏： scrapy 文章标签： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44918875/article/details/98212741
版权

[2019.8.2]python scrapy xpath和xpath获取网页内容为空，但是书写完全正确

scrapy 获取xpath或者css的正确方式

在浏览器右键复制的xpath，虽然说也是正确的，但是不符合这里的规则，和获取的源码是不一样的

在命令行中用shell指令

在这里插入图片描述

结束后输入图中的最后一个view(response)

在这里插入图片描述在这里插入图片描述

这样就会自动打开一个网页，在里面右键xpath 就可以获取到正确的

在这里插入图片描述

源本初见
关注
专栏目录
Python 抓取页面使用 XPath 出现的问题
Strlit的博客
03-04 755
Python 抓取页面使用 XPath 出现的问题 在抓取页面时，有时候需要多次使用 .xpath 方法来获取需要的元素。 在使用 .xpath 方法时，第一次 .xpath 的结果是正确的，而之后使用会出现抓取到的东西和预期不一样的情况。 比如： trs = html.xpath('//table//tr') 获得的 trs 是表中的行元素，之后想要获取其中的格元素时： for i in ra...
python scrapy 框架的简单使用&&爬虫苏宁易购图书信息
kan_hui的博客
09-02 1321
python scrapy 框架的简单使用&&爬虫苏宁易购图书信息前言第一步： 分析网页1.1 找到要爬取的数据位置1.2 分析如何获取数据 正则 or xpath? 前言 第一篇文章，写的不好太好。如有问题，欢迎指出。 在刚刚入门scrapy后尝试写了一个小的爬虫，目标是爬取苏宁易购下的所有的图书信息(大概有上千万条的数据，在爬到30000多条数据的时候我放弃了。。。) 第一步...
2019.10.29PYTHON_32_XPATH和NET编程
钘.厓輞的博客
10-20 78
XPATH 在XML文件中超照信息的一套规则,根据XML的元素或者属性进行遍历 http://www.w3school.com.cn/xpath/index.asp XPATH开发工具 开源的XPATH表达式编辑工具:XMLQUIRE Chrome插件:XPATH Helper Firefox插件:XPATH Checker 选取节点 node name :选取此节点的所有子节点 ...
scrapy 为何爬不出数据，爬出数据键值列表为空？
weixin_37600848的博客
08-26 3356
原因：源码的xpath路径 和 用爬虫代码爬取下来的 网站链接再用浏览器打开后，查看复制的xpath路径不一致 解决办法：先用scrapy爬下网页源代码，再google浏览器打开网页源码，再复制对应的xpath路径 大功告成！ ...
scrapy框架中利用xpath获取网页内容为空，而xpath书写完全正确
baidu_32542573的博客
03-15 9663
如图：利用xpath解析结果： imgs_href = response.xpath('//div[@class="box picblock col3 masonry-brick"]/div/a')如上图：网页源代码中解析结果： imgs_href = response.xpath('//div[@class="box picblock col3"]/div/a')  总结：当解析网页时，不能仅仅...
爬虫xpath明明在页面能够解析到，但是在代码却解析不出来
前方的路在刚开始
09-16 4802
解决方式，使用xpath解析后的element对象，打印一下（结果是源码的形态）。不要以页面为准，而要以源码为准（右键查看源代码） 排错方式: 打印element代码 string = etree.tostring(table, encoding='utf-8').decode('utf-8') print(string) 1.图中tr是在tbody里面，但是代码获取不到，显示没有这个节点 2.但是在源码上却是叫table ..
2019Python爬虫超完整教程.rar
09-01
2019Python爬虫超完整教程包含了丰富的学习资源，包括教程、笔记和作业，旨在帮助初学者全面掌握Python爬虫技术。在这个教程中，你将能够学到以下几个关键的知识点： 1. **基础语法与环境搭建**：首先，你需要了解...
Python Scrapy爬虫框架实战应用
梦子微信
02-23 750
通过上一节《Python Scrapy爬虫框架详解》的学习，您已经对 Scrapy 框架有了一个初步的认识，比如它的组件构成，配置文件，以及工作流程。本节将通过一个的简单爬虫项目对 Scrapy 框架做进一步介绍。 首先看一个简单的示例，比如把 python教程入门学习公众号首页的“title”抓取下来，如下所示： <html lang="zh-cn"> <head> <meta charset="gb2312" /> <meta name="baidu-site-
Python实现爬虫：Scrapy爬取csdn博客
简言
10-16 1087
在上篇教程中，已经尝试安装好Scrapy，并且解决好了环境问题，这篇文章将创建一个Scrapy项目 包含的步骤主要为： 1、创建一个Scrapy项目 2、定义提取的字段信息Item 3、编写爬取网站的 spider 并提取 Item 4、编写 Item Pipeline 来存储提取到的Item(即数据) 创建爬虫项目 开始爬取之前，必须创建一个新的Scrapy项目。 进入希望存...
python1903笔记 爬虫.zip
03-09
"python1903笔记 爬虫.zip"这个压缩包文件很可能包含了一位学习者在2019年3月对Python爬虫技术的学习笔记，旨在帮助我们了解和掌握Python爬虫的基础知识和实践技巧。 1. **Python基础知识**：在学习Python爬虫之前...
使用xpath 定位 p标签，定位到了，但取不到内容。。。，爬虫：番组计划
热门推荐
liumangjuntuan的博客
07-05 1万+
这是我爬取的目标网站start_url：   http://bangumi.tv/person/1/works/voice在抓取角色页的日文名字和名字的href属性时，都成功了，详细的日文名字的定位xpath语法如下：role_item["role_japanese_name"] = role.xpath('./div[@class="ll innerLeftItem"]//h3/a/text()...
xpath无法解析部分javascript内嵌HTML页面，获取结果为空问题
vayneX的博客
06-28 1972
在工作中，碰到在页面中html为xpath可解析的格式，但是在实际脚本获取中却获取不到的情况，通过查看网页源代码发现该部分内容为<script>标签对嵌入页面显示，改为如下两种获取方式： xpath+正则 将获取到的javascript内容用正则解析 pattern = re.compile(r'target="_blank">(.*?)</a>') creatorId = re.match(pattern,hanlder).group(1) xpa...
使用xpath解析时返回为空，获取不到相应的元素的解决方法
最新发布
mys328的专栏
08-09 3787
的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，明明自己写的xpath语句正确，但是返回值还是为空。原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构。我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码。总结 当使用xpath获取不到向相应的元素的时候，观察一下源码结构，根据源码进行解析。缺少一个tbody标签，
关于scrapy爬虫获取具体标签内容为空的解决方法
ainingzetao的博客
08-11 1万+
在确认自己xpath或css部分写对的前提下，且在浏览器该网站能匹配到相关内容，为空原因： 有些标签是浏览器规范化额外加上去的，实际的网页源码并没有，例如font,tbody,（目前就遇到这两个，大家可以自行查找还有哪些，不过操作应该差不多。） 解决方法：若代码pub_time = response.xpath('//ul[@class="article-info"]//font/font/t...
xpath scrapy爬虫时候xpath值为空解决方案
weixin_47420595的博客
06-25 2520
如果代码都没问题，那就是这一个问题： xpath 的语法问题：在 chrome中能获取数据不代表在 shell 中也一定能够获取数据，所以遇到这个问题可以尝试改写语法。
scrapy response.xpath为空
04-23
您好，关于您提到的问题，可能出现response.xpath为空的原因有很多种，比如网页的HTML结构改变了，xpath表达式不正确，等等。可以先尝试手动去访问对应url，看看在浏览器中能否正确获取到需要的元素。如果能够在浏览器中正确获取到，那么再检查一下您的xpath表达式是否写正确了，例如是否漏写class或id等属性，也可以考虑使用更加灵活的css selector来定位元素。如果还是无法解决，可以给我提供更具体的信息，我会尽力为您解答。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值