selenium查找不到元素,翻页后定位失败,爬取不到

能用到的思路

有人说,是页面没加载完
1.使得当前页面下拉:
web.execute_script(“window.scrollTo(0, document.body.scrollHeight);”)
2. selenium:操作翻页以后,selenium默认还在操作原来页面,让它改变当前操作页:
web.switch_to.window(web.window_handles[-1])
3.上面两种我都试了,但是还没找到需要的元素,我试着打印了当前页面,发现果然要找 的元素还没加载出来:
print(“当前网页源码==>”+web.page_source)
4. 最后发现,确实是页面没加载出来,但是我看到了说因为selenium格局大,眼界只能放在外面一层, 你需要一步步定位到里面,这时,我明白了为什么我第一页能找到而第二页找不到,因为我有一行代码divs,放在了循环外面,selenium需要一级级进去

出错前:

在这里插入图片描述
把代码放进去循环,每次翻页需要定位两次

解决:

在这里插入图片描述

Selenium 定位不到元素,可以尝试以下几种方法来解决问题: 1. 确保元素存在:首先确认元素是否确实存在于页面上,并且在定位元素之前是否已经加载完毕。可以通过手动操作页面或者查看页面源代码来确认元素是否存在。 2. 使用不同的定位方法:尝试使用不同的定位方法来定位元素,例如使用 `find_element_by_id`、`find_element_by_xpath`、`find_element_by_css_selector` 等方法。有候使用不同的定位方法可以解决定位问题。 3. 使用等待机制:等待页面加载完成或者元素出现在页面上是很常见的操作,可以使用 Selenium 中的等待机制来等待元素的出现。例如使用 `WebDriverWait` 类结合 `expected_conditions` 来等待元素的可见性、可点击等条件。 ```python from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By # 等待元素可见 element = WebDriverWait(driver, 10).until( EC.visibility_of_element_located((By.ID, "element_id")) ) # 或者等待元素可点击 element = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.ID, "element_id")) ) ``` 4. 检查浏览器驱动:确保使用的浏览器驱动是最新版本,并且与当前浏览器版本兼容。 5. 检查元素定位表达式:检查使用的元素定位表达式是否正确,可以通过浏览器的开发者工具来检查元素的属性和路径。 如果尝试了以上方法仍然无法定位元素,可以提供更多关于页面结构和目标元素的信息,以便更准确地帮助解决问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值