python爬虫等待网页加载失败_Python爬虫,登陆神器Selenium等待(waits)页面加载的三种方法...

在Python爬虫中,为确保网页元素完全加载,防止因网络延迟导致异常,通常需要实现等待机制。本文介绍了Selenium的三种等待页面加载的方法:1) 使用`time.sleep()`强制等待,但不推荐;2) `WebDriverWait()`显示等待,指定时间内元素出现即停止等待,更灵活;3) `implicitly_wait()`隐式等待,全局设置,影响所有元素定位。示例代码展示了如何应用这些方法。
摘要由CSDN通过智能技术生成

网页常常会因为网络原因,程序问题等等导致打开网页慢,一直在那里打圈圈。

出现这种情况时网页里的很多元素就没有加载完成,如果你刚好要定位的元素没有加载完,这时定位的话程序就会抛出异常。

所以程序里要加入等待机制,等待元素加载完,要让程序稳定运行,加等待(waits)这挺重要的,因为网络真的没有那么好。

等待页面加载有三种方法。

1.time.sleep()方法

这是直接调用time里的sleep来强制等待,我前面几篇文章写的例子就是用的sleep。

这不是selenium的官方写法,官方认为使用sleep是比较糟糕的用法,官方写法是下面两种方法。之前是这样写是想简化一下。

2.WebDriverWait()显示等待

就是设置一个等待时间,直到这个元素出现就停止等待,如果没出现就抛出异常。

比如设置10秒等待时间,如果等待第6秒这个元素就出现了,就停止等待,继续往下执行,如果第10秒元素还没出现,就抛出异常。

代码如下,使用的WebDriverWait().until()方法,WebDriverWait()里填driver和要等待的时间,until里填等待的元素。代码演示的是点击猿人学右上角的搜索按钮,等待class_name叫search-show的出现为止。

#coding=utf-8

from selenium import webdriver

from selenium.w

好的,我知道了。针对你的问题,下面是三种设置元素等待方法: 1. 强制等待:使用 time 模块的 sleep 函数,强制等待指定的间,等待页面加载完毕,然后再进行后续操作。这种方法最简单,但是不够灵活,会浪费间。 示例代码: ```python import time driver.get('http://www.example.com') time.sleep(5) # 等待5秒钟 ``` 2. 隐式等待:使用 driver.implicitly_wait() 方法,设置一个最长等待间,在这个间内如果页面加载完毕,就开始执行后续操作;如果超还未加载完成,则抛出异常。 示例代码: ```python driver.implicitly_wait(10) # 设置最长等待间为10秒钟 driver.get('http://www.example.com') # 加载页面 element = driver.find_element_by_xpath('//input[@name="username"]') # 查找元素 ``` 3. 显式等待:使用 WebDriverWait 类,指定一个最长等待间,并根据指定的条件判断是否加载完毕,如果条件成立就开始执行后续操作;如果超还未成立,则抛出异常。 示例代码: ```python from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By driver.get('http://www.example.com') # 加载页面 element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//input[@name="username"]'))) # 等待元素加载完毕 ``` 这三种方法都可以等待页面加载完毕,只是使用方式略有不同。根据实际情况选择合适的方法即可。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值