【selenium元素定位】Python使用selenium定位shado-root的元素

最新推荐文章于 2024-07-13 13:12:47 发布
最新推荐文章于 2024-07-13 13:12:47 发布
阅读量5.4k 收藏 17
点赞数 3
分类专栏： Selenium Python 文章标签： python 定位 selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dyfDewey/article/details/116454716
版权 
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<article>
    <h2 class="title">抓取元素</h2>
    <div class="content">
        <p class>文章正文</p>
    </div>

</article>
<script>
    var content = document.querySelector('.content');
    var root = content.attachShadow({mode: 'open'});
    root.innerHTML = '<p class="real_content" style="color: red"> 抓不到的文字！</p>'
</script>
</body>
</html>
问题：想获取文字：抓不到的文字！
# 思路一：
# 一般采取selenium的xpath来获取元素
from selenium import webdriver

web = webdriver.Chrome('../chromedriver.exe')
web.get('http://localhost:63342/test01/h1.html')

content = web.find_element_by_xpath('//p[@class="real_content"]')
print(content)
print(content.text)
web.close()
web.quit()


# 结果没有获取到元素对应的值
控制台打印信息为：
<selenium.webdriver.remote.webelement.WebElement (session="510e3aeb9de727a880169c1450f94756", element="700174b1-8ccd-4608-8804-8b67d4af8bb2")>


# 思路二：使用lxml
from lxml import etree

f = open('h1.html', 'r', encoding='utf-8')
html = f.read()
tree = etree.HTML(html)

content = tree.xpath('//p[@class="real_content"]/text()')
print(content)

# 结果也是没有获取到对应的内容
控制台打印信息：
[]
到页面来查看元素

页面元素用xpath来获取文字.png

  • 并没有找到该元素对应的值，因为这个节点是一个shadow DOM。shadow DOM的行为跟iframe很像，都是把一段html信息嵌入到另一个HTML中，但是不同的是。iframe被嵌入的地址需要额外再搭建一个HTTP服务，而shadow DOM可以只嵌入一段HTML代码，所以它比iframe更节省资源。
  • 所以要想获取到shadow DOM的元素，首先先拿到shadow-root节点，然后返回这个元素的.shadowRoot属性。拿到属性后就可以直接使用.find_element_by_class_name()方法获取对应的内容。
  • 注意：这个拿到shadow-root节点之后，只能通过css选择器来进一步筛选内容，不能使用xpath(会报错:NoSuchElementException)
结果方案
# 使用js来获取shado-root节点
from selenium import webdriver

web = webdriver.Chrome('C:\Program Files\Python39\chromedriver.exe')
web.get('http://localhost:63342/test01/h1.html?_ijt=c29nnauam27sd8i6kufkbpq6tv')
shadow = web.execute_script('return document.querySelector(".content").shadowRoot')
content = shadow.find_element_by_class_name('real_content')
print(content)
print(content.text)
web.close()
web.quit()

# 结果就可以获取到shadow-root的内容

抓不到的文字！

获取shadow-root获取元素.png

Du(o_o)
关注
  • 3
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
Selenium webdriver 访问Google chrome 的设置页面无法定位（shadow root）问题
Arise_的博客
02-03 2837
如题，在Google chrome 的设置页面 ，使用 Selenium webdriver 想使用 driver.find_element_by_xpath(“xxxx”).click( ) 对其中的元素进行定位 获取到的XPATH为： //*[@id=“changeDownloadsPath”]//cr-button 提示错误：找不到元素： selenium.common.exceptions...
Selenium 自动化遇见 shadow-root 元素怎么处理？
shanmao001的博客
02-27 688
shadow-root是前端的特殊元素节点，其使用了一个叫做shadowDOM的技术做了封装，shadowDOM的作用可以理解为在默认的结构中又嵌套了一个DOM结构（和iframe有点类似，只不过iframe内嵌的是HTML），我们遇见shadow-root元素时注意需要切换才能定位其内部元素。在做web自动化，有一些特殊元素是在shadow-root节点下面的，如果通过常规的xpath或者其他的定位方式是定位不到对应元素的，比如下面的页面：为什么shadow-root节点下的元素定位不到呢？
使用爬虫时，#document和#shadow-root (open)内的元素定位不到
最新发布
qq_44008566的博客
07-13 1172
标签并不是标准HTML的一部分，而是某些特定环境中的元素， 比如Mozilla Firefox的XUL界面，XUL元素通常处于特定的XML命名空间xmlns="http://www.mozilla.org/keymaster/gatekeeper/there.is.only.xul"。图中的<browser>内有个#document，代码无法定位到其中的<dialog>，有可能浏览器开发工具的查看器可以搜到，但是代码中定位不到，甚至可能查看器也搜不到直接复制的XPATH。等标签中的网页内容时。
爬取#shadow-root节点以下的网页
邹九的个人博客
08-23 316
【代码】爬取#shadow-root节点以下的网页。
selenium中定位shadow-root，以及获取shadow-root内部的数据
xiameimei_win的博客
09-01 3579
通过shadow-root的父级定位到shadow-root,再通过语句进行操作两种方法：第一种，Python种JS实现第二种，selenium实现。
【UI自动化测试】Selenium 自动化遇见 shadow-root 元素定位处理方法
qq_41922571的博客
02-28 1212
shadow-root是前端的特殊元素节点，其使用了一个叫做shadowDOM的技术做了封装，shadowDOM的作用可以理解为在默认的DOM结构中又嵌套了一个DOM结构（和iframe有点类似，只不过iframe内嵌的是HTML），内嵌的DOM结构默认是隐藏的，所以我们如果想要在shadow-root底下的DOM中定位元素，那么就需要进行切换。Step1：先去找到shadow-root的宿主节点，对应的是wujie-app。注意，字符串里面的单双引号嵌套的情况下需要进行转义。同样也可以定位到对应元素。
Java+selenium 获取shadow-root的value
u013779304的博客
05-27 1592
Java+selenium 获取shadow-root的value 1. 获取单个元素的值 public String getShadowElementValue(String locator) { JavascriptExecutor js = WebDriver.getDriver(); String script = "return document.evaluate(\"" + locator + "\", document, null, XPathResult.FIRST_
python中selenium如何定位shadow-root中的元素
lupe_c的博客
09-20 1603
最近遇到了这个问题，找了好久，终于找到了，参考的是下面这篇文章，但是这篇文章写的比较简单并且有点小问题，对此进行补充，和记录。
读取shadow-root(closed)里面的内容
big__banana的博客
08-19 1万+
@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增
selenium-python-helium：Selenium-python但更轻巧：Helium是用于Web自动化的最佳Python库
01-29
SeleniumPython但较轻：氦气 非常适合Web自动化。 氦气使其更易于使用。 例如： 在引擎盖下，氦气将每个呼叫转发给Selenium。 区别在于Helium的API更高级。 在Selenium中，您需要使用HTML ID，XPath和CSS选择器来...
Python学习-selenium-网页元素定位作业练习一附件
11-02
https://blog.csdn.net/Dolphin202006/article/details/109439635 博客附件
python中通过selenium简单操作及元素定位知识点总结
09-18
以下是对python中通过Selenium简单操作及元素定位的知识点的详细总结： ### Selenium简介 Selenium支持多种浏览器，如Chrome、Firefox、Internet Explorer等。通过Selenium可以模拟用户对浏览器的交互行为，比如...
〖Python WEB 自动化测试实战篇⑤〗- selenium 元素定位详解 - (八大元素定位方式)
易编橙 · 终身成长社群，相遇已是上上签！
06-07 4万+
测试对象的定位和操作是我们利用 selenium 编写自动化脚本和 webdriver 的核心内容，其中 "操作" 这一部分又是建立在 "selenium" 元素定位的基础之上的。所以对元素对象的定位就显得越发的重要，接下来我们就学习一下常用的元素定位方法有哪些。......
〖Python WEB 自动化测试实战篇⑥〗- selenium元素定位之find-elements
易编橙 · 终身成长社群，相遇已是上上签！
06-07 4万+
上一章节我们学习基本定位的方法，基本定位能够满足绝大部分的需求。但是仍然有一些特殊的需求我们满足不了，比如说有的场景需要需定位一组对象、或者操作页面上同类型的的元素，这个时候就需要使用到今天需要学习的知识点 [find-elements`]了。 ......
selenium定位不到元素原因之shadow root open
syy01syy的博客
05-23 707
selenium定位不到元素原因1。
通过python 的selenium 操作shadow前端页面实现自动点击上传图片
weixin_38385580的博客
09-26 685
【代码】通过python 的selenium 操作shadow前端页面实现自动点击上传图片。
Python中使用selenium（三）特殊操作
热门推荐
qq_24269969的博客
12-25 4万+
操作Cookie 无头浏览器 初始化并调用chrome插件
python中selenium元素定位
03-11
在Python中使用Selenium进行元素定位是非常常见的操作，可以通过以下几种方式来实现： 1. 通过ID定位元素： 使用`find_element_by_id`方法，传入元素的ID属性值，例如： ```python element = driver.find_element_by_id("element_id") ``` 2. 通过Name定位元素： 使用`find_element_by_name`方法，传入元素的Name属性值，例如： ```python element = driver.find_element_by_name("element_name") ``` 3. 通过Class Name定位元素： 使用`find_element_by_class_name`方法，传入元素的Class Name属性值，例如： ```python element = driver.find_element_by_class_name("element_class") ``` 4. 通过Tag Name定位元素： 使用`find_element_by_tag_name`方法，传入元素的Tag Name属性值，例如： ```python element = driver.find_element_by_tag_name("element_tag") ``` 5. 通过XPath定位元素： 使用`find_element_by_xpath`方法，传入元素的XPath表达式，例如： ```python element = driver.find_element_by_xpath("//div[@id='element_id']") ``` 6. 通过CSS Selector定位元素： 使用`find_element_by_css_selector`方法，传入元素的CSS Selector表达式，例如： ```python element = driver.find_element_by_css_selector("div#element_id") ``` 以上是常用的几种元素定位方式，根据实际情况选择合适的方式进行定位。另外，还可以使用`find_elements_*`系列方法来查找多个匹配的元素。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值