学习心路历程：xpath插件匹配成功，程序匹配为空的问题

最新推荐文章于 2022-11-21 19:55:05 发布
最新推荐文章于 2022-11-21 19:55:05 发布
阅读量446 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bennett_Doris/article/details/107162735
版权

xpath helper插件在浏览器能够成功匹配到目标字段
在程序里却匹配不到
原因是因为浏览器会对源代码进行动态补全或者动态渲染，这是由浏览器的引擎所决定的，这样就导致了我们爬取的内容和我们在浏览器中看到的内容有所不同，才会出现匹配不到的结果

有一个比较笨笨的办法
就是在程序中的headers字段将User-Agent改成 Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
这样应该就能够解决一部分问题

Bennett_Doris
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用python爬虫(part11)--XpathHelper为啥不能全信之JS要闹哪般
小山羊的学习日志
04-11 448
学习笔记 编辑器：Sublime 本Blog回答一下爬虫案例4里为，啥我在Xpath Helper可以匹配到URL，但是在python中就匹配不到了的小问题 在以往写爬虫时，我会在前端页面中，选中要爬取的内容，然后右键点击【审查元素】，按照HTML结构写一个Xpah表达式。之后再把写好的Xpath表达式用Xpath Helper 在前端页面中测试一下，如果匹配成功，那么我就在爬虫程序中使用这个X...
xpath插件下载 xpathhelper插件下载
08-22
xpath插件
XPath-Next:XPath信息的主要站点下一页
05-17
欢迎使用XPath下一页 这是W3C XPath Next Community Group的github项目： ： XPath Next是一个收集来自以下方面的XPath标准演进需求的地方： XPath规范 （ ） ， （ ） ， 以及 ， （ ）和 ， （ EBNF语法）和XPath 3.1函数和运算符 现有语言主持人 XSLT： XSLT 1.0 ， XSLT 2.0 ， XSLT 3.0 XPointer： XPointer XQuery： 1.0： XQuery 1.0 ， XQuery更新工具1.0 1.1： XQuery 1.1 3.0： XQuery 3.0 ， XQuery更新工具3.0 3.1： XQuery 3.1 XForms： XForms 1.0 ， XForms 1.1 ， XForms 2.0 XProc： XProc
python xpath匹配结果为空
qq_35425070的博客
02-19 1万+
写python爬虫的时候为了省事，通常会在在浏览器中打开F12，右键复制 xpath 。 谷歌浏览器这里有一个坑，在这费了半天时间 复制的xpath为 python中如下：//*[@id=“mainFrame”]/div/table/tbody/tr/td[1]//text() 使用浏览器插件 xpath helper 测试匹配成功！ 到了python代码里怎么写都匹配不到，如下 xxx.x...
XPath语法在Python中无值
weixin_48353691的博客
11-21 586
XPath语法在Python中无值
在浏览器中xpath正确而在程序中无法定位的解决方案
Talk is cheap,show me the code
12-01 6516
今天在帮学姐爬取一个化学网站的数据时，遇到了一个小问题，当我在浏览器中用xpath语法定位到该表格元素后并将其copy至程序中后，我发现怎么样都无法正确定位。 当然最后还是找到了解决方案：查看源代码,因为在浏览器中普遍会对html代码进行优化，在源代码中定位到目标元素中后发现表格中的table元素下没有tbody，是浏览器自动加上去的，还有就是p元素的标签没有闭合，也是浏览器自动补上去的…之后就可...
为什么浏览器上xpath可以获取数据，python中无法获取
python伊甸园的博客
09-18 5396
偶尔我们在写爬虫的时候会遇到这样一个问题，在浏览器上写的xpath语法明明可以获得数据，但是到python里面，一模一样的xpath语法却无法得到数据，这个问题出现在哪里呢？ 原因一： 浏览器上的xpath是根据 浏览器解析了服务器返回过来的网页源码，两者可能存在一定差异，比如部分标签不一样。 如今的浏览器是非常智能的，如果HTML缺少些标签，也会帮助服务器返回过来的源码自动补全，导致标签上存在差异。 最准确的获取方式：查...
爬虫xpath明明在页面能够解析到，但是在代码却解析不出来
前方的路在刚开始
09-16 4504
解决方式，使用xpath解析后的element对象，打印一下（结果是源码的形态）。不要以页面为准，而要以源码为准（右键查看源代码） 排错方式: 打印element代码 string = etree.tostring(table, encoding='utf-8').decode('utf-8') print(string) 1.图中tr是在tbody里面，但是代码获取不到，显示没有这个节点 2.但是在源码上却是叫table ..
chrome插件xpath_helper
04-21
chrome浏览器 谷歌浏览器新版本的xpath插件，解决1.xx版本动态加载页面无法弹出调试黑框的问题
Locator : XPath/CSS Selector-crx插件
03-25
定位器在单击时生成，验证并复制xpath / css选择器。 它还支持svg。 单击生成并复制XPath / CSS选择器的扩展。 使用方法：单击图标启用扩展，单击元素，然后将生成经过验证的XPath / CSS选择器并将其复制到剪贴板。 ...
谷歌浏览器XPath2.0插件
06-23
XPath Helper插件是一款可以安装到谷歌浏览器上使用支持所有chrome内核浏览器的爬虫网页解析工具,使用XPath Helper可以让你轻松获取HTML元素的xPath,不用再手动获取捕捉。
浏览器xpath插件,学习爬虫必备
最新发布
12-27
浏览器xpath插件, 爬网站信息必备插件
爬虫匹配数据失败的原因
qq_44111565的博客
05-06 524
今天碰到一个匹配数据失败的问题，用谷歌浏览器的xpath插件，在网页上能匹配到数据，复制到代码中，匹配为空。 解决办法 将响应的代码保存下来，查看响应的html页面对应的位置有啥区别 这里可以看到。我们得到的页面中跟网页上显示的有点不一致，网页上的是src，我们得到的是src2，所以修改我们的xpath选择器就可以匹配出我们需要的数据。 总结 这也算得上是一种反扒机制了吧，遇到问题不要慌，...
BUG1：关于xpath语法，在xpath helper与开发者工具中能正常显示,但是在scrapy框架文件里显示为none或空列表的问题
qq_40712579的博客
07-02 908
首先，在xpath helper中如下： 然后，在vscode中使用 response.xpath('/html/body/div[@class="main"]/div[@id="centerm"]/div[@class="bdsub"]/dl[@id="content"]/dd[1]/table/tbody/tr[2]/td[@class="L"]//a/text()').get() 结果为None 使用response.body()将html文件下载后，对比发现html文件中没有tbody.
爬虫使用xpath解析时返回为空，获取不到相应的元素的原因和解决办法
热门推荐
小鱼干儿的博客
04-22 1万+
xpath写的对，但是返回值为空 在写爬虫的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，通常会遇到会获取不到相应元素的情况 原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构 我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码 所以根据修改后的xpath解析源代码会找不到相应的元素 ...
xpath不能正常匹配
hard_days的博客
03-11 1962
记录一下今天掉的坑。。。本来再写爬虫的时候发现xpath能在浏览器里正常使用，但是放到我的项目里就是一个空列表。弄了我将近一个小时。解决方案有两种： 第一种就是携带cookie值。 self.headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537....
XPath匹配标签使用text()判断获取结果失败/为空的问题及解决方法
06-08
当使用XPath匹配标签并使用text()判断获取结果失败/为空时，有以下几个可能的原因和解决方法： 1. 标签中没有文本内容：如果标签中没有文本内容，text()将会返回空值。可以尝试使用其他属性或子元素进行匹配。 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值