xpath无法获取某些标签问题

最新推荐文章于 2023-08-09 15:34:20 发布
最新推荐文章于 2023-08-09 15:34:20 发布
阅读量2.3k 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/just_tree/article/details/110096932
版权
python爬虫中用xpath无法获取某些标签问题selenium 斗鱼直播页面某个div标签下面的img标签在代码中无法用xpath获取到selenium 斗鱼直播页面你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。某个div标签下面的img标签在代码中无法用xpath获取到xpath路径没有问题代码中无法找到报错 def prase_data(self):
摘要由CSDN通过智能技术生成

python爬虫中用xpath无法获取某些标签问题

selenium 斗鱼直播页面

某个div标签下面的img标签在代码中无法用xpath获取到

在这里插入图片描述
xpath路径没有问题
在这里插入图片描述

代码中无法找到报错

 def prase_data(self):
        room_list = self.driver.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/ul/li/div')


        #print(len(room_list))

        for room in room_list:
            temp = {}

            temp['title'] = room.find_element_by_xpath('./a[1]/div[2]/div[1]/h3').text
            temp['type'] = room.find_element_by_xpath('./a[1]/div[2]/div[1]/span').text
            temp['owner
最低0.47元/天 解锁文章
just_tree
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
xpath解析无法得到结果
m0_54797890的博客
05-14 1207
今天在做网页解析的时候遇到一个问题，使用了正确的xpath解析式但是得不到想要的网页内容，在确定了爬取的内容没有问题之后，发现是在etree.HTML(r.text)进行网页转换时一些转义字符导致部分标签被注释掉从而无法通过xpath获取 解决办法： 用selector # selector 方式 import requests from lxml import etree from bs4 import BeautifulSoup url = 'https://gitee.com/al-one/ha
使用xpath 定位 p标签，定位到了，但取不到内容。。。，爬虫：番组计划
liumangjuntuan的博客
07-05 1万+
这是我爬取的目标网站start_url：   http://bangumi.tv/person/1/works/voice在抓取角色页的日文名字和名字的href属性时，都成功了，详细的日文名字的定位xpath语法如下：role_item["role_japanese_name"] = role.xpath('./div[@class="ll innerLeftItem"]//h3/a/text()...
使用xpath解析时返回为空，获取不到相应的元素的解决方法
mys328的专栏
08-09 3172
的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，明明自己写的xpath语句正确，但是返回值还是为空。原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构。我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码。总结 当使用xpath获取不到向相应的元素的时候，观察一下源码结构，根据源码进行解析。缺少一个tbody标签，
爬虫使用xpath解析时返回为空，获取不到相应的元素的原因和解决办法
小鱼干儿的博客
04-22 1万+
xpath写的对，但是返回值为空 在写爬虫的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，通常会遇到会获取不到相应元素的情况 原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构 我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码 所以根据修改后的xpath解析源代码会找不到相应的元素 ...
爬虫使用xpath部分内容无法获取
qq_42937719的博客
05-11 1964
使用xpath获取信息，同一个网页的不同内容，有的可以，有的无法获取 网页中的内容是通过js代码读取外部json数据来动态更新的。 requests只能获取网页的静态源代码，动态更新的内容取不到。 对于动态更新的内容要用selenium 来爬取。 或者是通过F12控制台分析页面数据加载的链接，找到真正json数据的地址进行爬取。 在页面上点击右键，右键菜单中选 "查看网页源代码"。 参考：(1条消息) 关于xpath返回空列表的问题-Python-CSDN问答 ...
爬取糗事百科，应该没有人比我专业了！我爬了不下上千变！
爬遍所有网站
09-25 536
完整代码在Github，如有需要可自行下载。 GIthub地址：源码地址 一. 爬取前的准备 糗事百科官网：百度即可 段子网址：百度即可 关于解析html博主选择的方法是使用xpath，如有不懂的同学，可看下面两个表格。如果想要深入学习xpath的相关知识可点击博主给的官方 文档的链接进行学习，博主在此声明是为了让读者们能够理解解析式的具体含义。 官网网址：https://lxml.de/tutorial.html 1.1 查看网页 根据上图标记部分可以看到...
scrapy-response.xpath中无法获取标签内容的问题
热门推荐
AOH_anger的博客
02-12 1万+
春天到了，又是交配、咳咳找工作的季节，各种招聘网站也开始活跃起来，为了服务身边的程序员朋友，于是用scrapy写了一个简单的招聘网站的爬取程序，用来自动获取更新招聘信息。 scrapy使用熟练了，用起来还是挺简单，利索的创建项目，编写spider文件，大体框架搭好，打开拉勾（https://www.lagou.com/zhaopin/Android/），然后分析网页结构，使用 chrom
java selenium XPath 定位实现方法
09-01
XPath是XML Path Language...在编写测试脚本时，利用浏览器的开发者工具获取元素的XPath表达式是十分方便的。同时，当页面结构有可能变动时，优先考虑使用相对路径和基于元素属性的定位，以提高脚本的维护性和复用性。
xpath helper
04-29
XPath是一种在XML文档中查找信息的语言，它能用来选取节点、计算节点集或者获取节点的值。在网页开发和自动化测试中，XPath Helper扮演着至关重要的角色，因为它使得快速定位和检查页面元素变得简单易行。 安装...
uiautomatorviewer xpath
10-08
2. 长而复杂的XPath表达式可能导致性能问题，尽量保持定位的简洁性。 3. 在使用XPath时，注意避免使用`*`通配符，因为这可能导致选取过多的元素，增加定位的不确定性。 综上，UIAutomatorViewer与XPath的结合使用，...
Php.XPath-开源
04-15
3. **节点操作方法**：可能包括获取节点值、修改节点内容、添加和删除节点等功能，这些操作可能基于 XPath 查询结果进行。 4. **错误处理**：良好的类设计应该包含错误处理机制，当 XPath 表达式无效或 XML 文档格式...
php操作xml入门之xml标签的属性分析
10-24
然后通过 `getElementsByTagName` 方法找到所有的 `student` 元素，最后遍历这些元素，获取并打印它们的 `id` 和 `haha` 属性。 了解了这些基本概念后，你可以进一步学习更复杂的XML操作，如XPath查询、XML Schema...
Python用xpath爬取数据返回空列表解决 python爬虫，关于使用xpath写爬虫获取不到内容， 获取到空列表的解决方案
weixin_45437533的博客
11-26 1万+
可能的情况： 1、url的问题 2、xpath路径问题 3、网页标签class，id属性等一定要注意看后面有没有空格 关于xpath路径问题 之前在做的爬虫都是用的xpath去获取内容，又想偷懒，所以就直接在源码那里直接复制路径， 然后就很容易踩雷了（我算是踩了很多坑了，不知道有没有小伙伴和我一样踩过这样的坑）： 此时可能会得到如下路径： /html/body/div[2]/div[6]/table/tbody/tr[6]/td[1]/a/span 然后跑开始爬虫，结果...
Python爬虫：xpath，cookie都正确仍然无法爬取需要的内容解决方法之一
m0_71242960的博客
12-23 2222
经过很多次尝试以及仔细观察所爬取的html代码内容，我发现有一个标签里含有的css代码：style = display:none ，这行代码可以把这个标签里面的内容隐藏。展开这个标签里面的内容，很可能就是我们所需要的真实的页面a标签里面的url地址。注意，这里说了一般，有些网站的反爬措施很高级，甚至会封掉你的ip。看这篇文章的猿猿们肯定有了一定的python-xpath爬虫基础了，后面对li_tree的处理以及延伸获取所需要的页面内容我在这就不介绍啦！这样我们就得到了正确的li_tree。
img标签后面跟着文本怎么捕捉，为什么xpath捕捉到的信息，实际无法输出
weixin_43256057的博客
05-30 1403
def get_page_from_url(self): a_s = self.dri.find_elements_by_xpath('//div[@class="p-name p-name-type-2"]/a') for a in a_s: url = a.get_attribute('href') print(url) res...
python爬虫中使用Xpath方法定位a标签中所有的子标签的方法
天才小呵呵的博客
05-29 9487
xpath在解析标题的时候遇到了问题，a标签中混合了i、sub、sup标签，不能直接使用text方法获取，所以在这里记录一下自己的解决方案。 （想不到，做完这个任务，我顺便学会了希腊字母的读音:^）
百度分享
wusj1989的博客
07-04 191
<!-- Baidu Button BEGIN -->     <div id="bdshare" class="bdshare_t bds_tools get-codes-bdshare">         <span class="bds_more">分享到：</span>         <a class=&qu
xpath怎么获取标签属性
最新发布
08-16
要使用XPath获取标签属性，你可以使用`@`符号后跟属性名称。 以下是一些示例： 1. 获取某个元素的`href`属性： ```xpath //a/@href ``` 2. 获取某个元素的`class`属性： ```xpath //div/@class ``` 3. 获取某个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值