解决 selenium 加载网页阻塞的问题

selenium 的 webdriver 对象有一个 get 方法，可以打开指定的 URL，但是它是阻塞的，除非整个网页都加载完，否则不会返回。这样有两个弊端：一、很多时候，我们不需要整个网页都加载出来。二、如果网页因某种原因卡住，我们的程序也会卡住。解决这个问题的方法，就是用 set_page_load_timeout 函数和 WebDriverWait。

参数解释

set_page_load_timeout(t)：设置 get 方法的最大执行时间为 t 秒。

class WebDriverWait(object):

    def __init__(self, driver, timeout, poll_frequency=POLL_FREQUENCY, ignored_exceptions=None)
    timeout：等待的最大时间（单位：秒）

    poll_frequency：检查的时间间隔（默认 0.5 秒）

    ignored_exceptions：执行检查函数时要无视的异常

    def until(self, method, message='')

    method：检查函数。必须只有一个参数，接受初始化时传入的 driver。只有当该函数返回 True 或者超时，程序才会继续

    message：若超时抛出的异常信息

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.common.exceptions import TimeoutException

driver = webdriver.Firefox()
driver.set_page_load_timeout(0.01)
try:
    driver.get('https://www.baidu.com/')
except TimeoutException:
    print('timeout')
WebDriverWait(driver, 10, 0.1).until(lambda x: x.find_element_by_id('kw'))
print('the page is loaded')

我们把网页加载的最大时间设置为 0.01s，这样，get 方法立刻就会抛出 TimeoutException，我们不管它，然后用 WebDriverWait 判断网页有没有加载完毕。

问题解决！