python爬虫等待网页加载_Python爬虫之设置selenium webdriver等待

Python爬虫之设置selenium webdriver等待

ajax技术出现使异步加载方式呈现数据的网站越来越多，当浏览器在加载页面时，页面上的元素可能并不是同时被加载完成，这给定位元素的定位增加了困难。

如果因为在加载某个元素时延迟而造成ElementNotVisibleException（不可见元素异常）的情况出现，那么就会降低自动化脚本的稳定性，设置元素等待可改善这种问题造成的不稳定。

一、强制等待

强制等待是利用python语言自带的time库中的sleep()方法：

from selenium importwebdriverfrom time importsleepdeftest():#打开浏览器

driver =webdriver.Firefox()

driver.get('http://www.baidu.com')

sleep(5)

driver.quit()

sleep(5)会挂起这个脚本，五秒后再继续执行，但是这种方式会导致这个脚本运行时间过长，不到万不得已尽可能少用，特殊情况下，时间设置最好不超过1秒，一般0.5秒。

二、隐式等待

隐式等待：在脚本中我们一般看不到等待语句，但是它会在每个页面加载的时候自动等待；隐式等待只需要声明一次，一般在打开浏览器后进行声明。声明之后对整个drvier的生命周期都有效，后面不用重复声明。

设置一定的时长等待页面上某元素加载完成，如果超出了设置的时长元素还没有被加载，则抛出NoSuchElementException异常，没有超过规定时间就继续往下执行，WebDriver提供了implicitly_wait()方法来实现隐式等待，默认设置为0：

from selenium importwebdriverdef　test():#打开浏览器

driver =webdriver.Firefox()#隐式等待 设置等待时间为10秒

driver.implicitly_wait(10)

driver.get('http://www.baidu.com')

注意：隐式等待中，如果元素在规定时间内加载出来，也得继续等待到规定的时间结束。

三、显示等待

显示等待：显示等待必须在每个需要等待的元素前面进行声明。

from selenium importwebdriverfrom selenium.webdriver.common.by importByfrom selenium.webdriver.support.ui importWebDriverWaitfrom selenium.webdriver.support importexpected_conditions as ecdeftest():#打开浏览器

driver =webdriver.Firefox()

driver.get('http://www.baidu.com')#显示等待

element = WebDriverWait(driver,5,0.5).until(ec.presence_of_all_elements_located((By.ID,"kw")))

driver.find_element_by_id("kw").send_keys("selenium")

显示等待需要用到两个类：

WebDriverWait和expected_conditions两个类。

1、WebDriverWait(driver,timeout,poll_frequency=0.5,ignored_exceptions=None)

属性

driver：浏览器驱动

timeout：最长超时时间，默认以秒为单位

poll_frequency：检测的间隔步长，默认为0.5s

ignored_exceptions：超时后的抛出的异常信息，默认抛出NoSuchElementExeception异常。

WebDriverWait()一般由until()或until_not()方法配合使用，下面是方法说明 ：

until(method,message=”)

method: 在等待期间，每隔一段时间（__init__中的poll_frequency）调用这个传入的方法，直到返回值不是False

message: 如果超时，抛出TimeoutException，将message传入异常

until_not(method,message=”)

与until相反，until是当某元素出现或什么条件成立则继续执行，

until_not是当某元素消失或什么条件不成立则继续执行，参数也相同。

2、expected_conditions类

各种类，达到某种条件，返回True和False

常用条件：

条件 说明

presence_of_element_located 　　判断某个元素是否被加到了DOM树里，并不代表该元素一定可见

visibility_of_element_located 判断某个元素是否可见，可见代表元素非隐藏，并且元素的宽和高都不等于0