python爬虫等待网页加载_Python Selenium等待(waits)页面加载完成的三种方法

网页常常会因为网络原因,程序问题等等导致打开网页慢,一直在那里打圈圈。

出现这种情况时网页里的很多元素就没有加载完成,如果你刚好要定位的元素没有加载完,这时定位的话程序就会抛出异常。

selenium-waits.jpeg

所以程序里要加入等待机制,等待元素加载完,要让程序稳定运行,加等待(waits)这挺重要的,因为网络真的没有那么好。

等待页面加载有三种方法。

1.time.sleep()方法

这是直接调用time里的sleep来强制等待,我前面几篇文章写的例子就是用的sleep。

这不是selenium的官方写法,官方认为使用sleep是比较糟糕的用法,官方写法是下面两种方法。之前是这样写是想简化一下。

2.WebDriverWait()显示等待

就是设置一个等待时间,直到这个元素出现就停止等待,如果没出现就抛出异常。

比如设置10秒等待时间,如果等待第6秒这个元素就出现了,就停止等待,继续往下执行,如果第10秒元素还没出现,就抛出异常。

代码如下,使用的WebDriverWait().until()方法,WebDriverWait()里填driver和要等待的时间,until里填等待的元素。代码演示的是点击猿人学右上角的搜索按钮,等待class_name叫search-show的出现为止。

#coding=utf-8

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

import time

driver = webdriver.Chrome(executable_path="C:/chromedriver.exe")

driver.get('https://www.yuanrenxue.com')

try:

element = WebDriverWait(driver, 10).until(

EC.presence_of_element_located((By.CLASS_NAME, "search-show"))

)

element.click()

finally:

time.sleep(10)

driver.quit()

3.implicitly_wait()隐式等待

隐式等待是一个全局设置,设置后所有的元素定位都会等待给定的时间,直到元素出现为止,等待规定时间元素没出现就报错。

因为设定后是所有定位都要等待,所以最好用显示等待。

隐式等待的调用方法是:

#coding=utf-8

from selenium import webdriver

driver = webdriver.Chrome(executable_path="C:/chromedriver.exe")

#等待5秒

driver.implicitly_wait(5)

driver.get('https://www.yuanrenxue.com')

driver.find_element_by_class_name('slide-left').click()

driver.quit()

yrx_banner_pic.jpg

我的公众号:猿人学 Python 上会分享更多心得体会,敬请关注。

***版权申明:若没有特殊说明,文章皆是猿人学 yuanrenxue.com 原创,没有猿人学授权,请勿以任何形式转载。***

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值