python网站打开慢_Python selenium页面加载慢超时的解决方案

本文介绍了Python使用Selenium遇到页面加载慢和超时的问题,提供了多种解决方案,包括设置页面加载超时、使用隐式等待和显式等待,但这些方法可能导致Driver失效。最终,通过修改DesiredCapabilities的页面加载策略为'none',实现不等待页面完全加载就能进行后续操作。
部署运行你感兴趣的模型镜像

更多编程教程请到:菜鸟教程 https://www.piaodoo.com/

友情链接:

高州阳光论坛https://www.hnthzk.com/

人人影视http://www.sfkyty.com/

开发环境:

win10-64  python2.7.16  chrome77

from selenium import webdriver

driver = webdriver.Chrome(executable_path='chromedriver.exe')

driver.get('http://全部加载完成超级慢的网站')

user = ‘abc’

pwd = '123

driver.find_element_by_id(‘email’).send_keys(user)

driver.find_element_by_id(‘pass’).send_keys(pwd)

先看这样一段代码

当执行了get以后,除非网站全部加载完成,否则你只能乖乖等,什么都不能干,这是整个程序是阻塞的,get不完就别想进行下面操作

这个等待可能是5分钟或者更久

其实5秒钟的时候界面就已经打开了,然后他还在加载些什么js,img,等待速度超慢的,但是网页人工是可以操作

那么有没有什么办法呢,网上找了一通,给出了很多解决方案

首先是这货(下面是我复制的):

from selenium import webdriver

driver=webdriver.Chrome()

driver.set_page_load_timeout(5)

driver.set_script_timeout(5)#这两种设置都进行才有效

try:

d.get(s)

except:

d.execute_script('window.stop()')#这句话好像没什么软用

可以在页面停止加载后继续操作了

driver.set_page_load_timeout(5)这玩意一设置,没问题,5秒后网页确实停止了,但是driver也死了,不管运行什么都是timeout,还说try一下,driver是死透了,只能重新来

不知道是selenium更新了还是他自己没测试还是chrome更新了,现在这么设置就是找死的

注意:使用set_page_load_timeout时候,当页面未加载出任何东西的时候(往往是html源码未加载),因为超时而停止,会导致driver失效,

后面的driver都不能操作,所以超时设置应该至少保证页面内容加载出来一部分,设置超时不宜过短,如下图在页面此种状态下停止加载后driver失效。

不错,是有人也说了,不能设置太短,会失效,但是我可以说,你设置5分钟照样失效,只要超时一次,driver就完蛋,直接翻车

接下来是另一个方法

# coding = utf-8

from selenium import webdriver

from selenium.webdriver.support.wait import WebDriverWait

import time

driver = webdriver.Chrome()

class button():

def call(self, driver):

if driver.find_element_by_id(‘js_love_url’):

return True

else:

return False

driver.implicitly_wait(60)

time_start = time.time()

driver.get(‘https://www.163.com/’)

driver.find_element_by_id(‘js_love_url’).click()

WebDriverWait(driver,2,0.5).until(button())

time_end = time.time()

print('access time is : ', time_end - time_start)

time.sleep(2)

driver.quit()

用WebDriverWait进行操作,不过我测试下来,driver.get()不执行完,下面的代码根本就不会执行,所以还是不行

找了各种方法,各种操作,都失败了,总算今天找到了正确的方法

原理非常简单:driver.get()这个操作,改成不阻塞的就行了,这样打开网页就操作完成了,不需要等他加载

下面我可以直接等待需要的元素出现即可进行操作

配置也是很简单

from selenium import webdriver

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

#get直接返回,不再等待界面加载完成

desired_capabilities = DesiredCapabilities.CHROME

desired_capabilities[“pageLoadStrategy”] = “none”

driver = webdriver.Chrome(executable_path=‘chromedriver.exe’)

配置一个参数,就是页面加载策略,系统默认是等待,就是等他加载完,直接设置成none,就是不等待,这样就是get操作完后直接就是结束了

到此这篇关于Python selenium页面加载慢超时的解决方案的文章就介绍到这了,更多相关Python selenium加载慢内容请搜索菜鸟教程www.piaodoo.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持菜鸟教程www.piaodoo.com!

您可能感兴趣的与本文相关的镜像

Linly-Talker

Linly-Talker

AI应用

Linly-Talker是一款创新的数字人对话系统,它融合了最新的人工智能技术,包括大型语言模型(LLM)、自动语音识别(ASR)、文本到语音转换(TTS)和语音克隆技术

好的,我知道了。针对你的问题,下面是三种设置元素等待的方法: 1. 强制等待:使用 time 模块的 sleep 函数,强制等待指定的时间,等待页面加载完毕,然后再进行后续操作。这种方法最简单,但是不够灵活,会浪费时间。 示例代码: ```python import time driver.get('http://www.example.com') time.sleep(5) # 等待5秒钟 ``` 2. 隐式等待:使用 driver.implicitly_wait() 方法,设置一个最长等待时间,在这个时间内如果页面加载完毕,就开始执行后续操作;如果超时还未加载完成,则抛出异常。 示例代码: ```python driver.implicitly_wait(10) # 设置最长等待时间为10秒钟 driver.get('http://www.example.com') # 加载页面 element = driver.find_element_by_xpath('//input[@name="username"]') # 查找元素 ``` 3. 显式等待:使用 WebDriverWait 类,指定一个最长等待时间,并根据指定的条件判断是否加载完毕,如果条件成立就开始执行后续操作;如果超时还未成立,则抛出异常。 示例代码: ```python from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By driver.get('http://www.example.com') # 加载页面 element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//input[@name="username"]'))) # 等待元素加载完毕 ``` 这三种方法都可以等待页面加载完毕,只是使用方式略有不同。根据实际情况选择合适的方法即可。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值