selenium爬虫遇见 display:none元素解决方法

在爬虫过程中,html页面为了页面简洁美观,某些元素设置了不可见,需要鼠标点击或者悬浮才能展示,导致在爬虫过程中通过XPATH或CSS选择器定位元素时,报错无法找到。
下图是爬取牛客网一些招聘信息时的截屏
在这里插入图片描述

解决办法:

定义了一个js变量,然后通过getElementById()或getElementsByClassName()方法去引用display元素,修改none属性为block属性(作为块级元素显示),然后通过selenium自带的execute_script方法执行脚本。

最后,当元素属性置为可见时,即可以定位元素获取。

js = "document.getElementsByClassName('detail')[%d].style.display='block'" % x
# 执行js代码
driver.execute_script(js)
time.sleep(2)

class类不能简单直接拿来判断,因为具有多个class,所以要加上数组才能判断。
在这里插入图片描述

Python Selenium中,遇到元素被CSS样式`display: none`隐藏时,通常意味着这个元素在浏览器中是不可见的,从而无法直接交互,包括点击操作。要让这样的元素变为可点击,你需要先解决它的可见性问题。以下是一些可能的方法: 1. 判断并等待元素显示:使用Selenium的`WebDriverWait`和`expected_conditions`模块,设置一个等待条件,直到元素的`display`属性变为非`none`(通常是`'block'`或`'inline-block'`)。 ```python from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC element = WebDriverWait(driver, 10).until( EC.visibility_of_element_located((By.CSS_SELECTOR, "your_css_selector")) ) ``` 2. 修改CSS样式:如果你能控制页面源代码,可以直接将该元素的`display`属性改为可见。例如,你可以调用JavaScript来改变元素的样式: ```python driver.execute_script("document.querySelector('your_css_selector').style.display = 'block';") ``` 确保执行上述代码前,已经获取到了对应的`WebElement`实例。 3. 监听事件:如果元素在某个特定条件下才会切换为可见,你也可以选择监听这个条件的变化。比如,检查父元素的某个属性变化: ```python parent_element = driver.find_element(By.XPATH, "//parent/..") if parent_element.get_attribute('some_condition') == 'show': element.click() ``` 完成以上步骤后,元素应该变为可见并且可点击了。记得处理可能出现的异常情况。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值