Selenium自动化测试抓取同样一个系统,有些页面元素都抓取不到

本人开发调试时,遇到此种情况,直接F12打开控制台输入$("#echartsMap > div:nth-child(1) > canvas"),提示没有定位到相应的元素,但是,先鼠标放到页面元素上,再右键选择检查,在查看器里定位到html元素后,再在控制台里输入$("#echartsMap > div:nth-child(1) > canvas"),就能定位到该元素,很纳闷,着急实现开发,就没细究。

 

后来研究了半天,原来是由于页面引用了Iframe嵌入框架导致的,需要根据官网提到的切换到Iframe,如下:


_Driver.SwitchTo().Frame(2);//索引方式
或者
var k8iframe = _driver.FindElement(By.CssSelector("#ltpop"));
_Driver.SwitchTo().Frame(k8iframe);

如果切换iframe操作完,需要操作iframe外或者另一个iframe的元素,就需要推出当前iframe,如下:

//退出iframe
_driver.SwitchTo().DefaultContent();

以上就是遇到无法抓取元素的一种情况和解决方式

以后遇到相似情况,一定要分析下是否和别的有不同之处,

比如此次,同一个系统,不同页面,有的可以抓取元素,有的一个都不行,不同之处就是这个页面有地图展示,所以页面嵌入了iframe使用canvas来展示地图效果的导致的

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用BeautifulSoup抓取动态生成的内容有一定的局限性,因为BeautifulSoup只能解析静态的HTML内容,无法执行JavaScript或模拟用户交互。然而,您可以结合其他工具或库来模拟浏览器行为以获取动态生成的内容。 一种常见的方法是使用Selenium库,它是一个自动化浏览器工具,可以模拟用户在浏览器中的操作。您可以使用Selenium来加载网页并执行其中的JavaScript,然后将页面源代码传递给BeautifulSoup进行解析。 以下是使用BeautifulSoup和Selenium抓取动态生成内容的基本步骤: 1. 安装Selenium库:使用pip命令安装Selenium库:`pip install selenium` 2. 下载适合您操作系统的浏览器驱动程序(如ChromeDriver或GeckoDriver)。将驱动程序添加到系统路径。 3. 导入所需的库: ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup ``` 4. 创建Selenium浏览器实例并加载网页: ```python # 创建Chrome浏览器实例 options = Options() options.add_argument("--headless") # 启用无头模式,不显示浏览器窗口 driver = webdriver.Chrome(options=options) # 加载网页 driver.get("https://example.com") ``` 5. 等待页面加载完成和动态内容生成: ```python import time # 等待页面加载完成,可根据实际情况调整等待时间 time.sleep(5) ``` 6. 获取页面源代码并传递给BeautifulSoup进行解析: ```python # 获取页面源代码 page_source = driver.page_source # 使用BeautifulSoup解析页面 soup = BeautifulSoup(page_source, "html.parser") ``` 7. 使用BeautifulSoup提取动态生成的内容: ```python # 根据HTML结构和CSS选择器提取内容 content = soup.select(".class-name") # 使用CSS选择器选择元素 # 打印内容 for item in content: print(item.text) ``` 8. 关闭浏览器实例: ```python driver.quit() ``` 请注意,使用Selenium进行动态抓取可能会导致性能下降,因为它模拟了完整的浏览器环境。因此,建议在必要时使用,尽量避免频繁的动态抓取操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值