Selenium 设置元素等待的三种方式

最新推荐文章于 2024-03-27 16:40:59 发布
最新推荐文章于 2024-03-27 16:40:59 发布
阅读量7.5k 收藏 24
点赞数 6
分类专栏： 爬虫 文章标签： selenium 设置元素等待
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gscsd_T/article/details/102837046
版权

Selenium 设置元素等待的三种方式
    1. sleep 强制等待
    2. implicitly_wait() 隐性等待
    3. WebDriverWait（）显示等待

三种方式的优缺点

 1. sleep 强制等待
       

from selenium import webdriver
from time import sleep
driver = webdriver.Chrome()
sleep(2)        #设置等待2秒钟
driver.get('http://www.baidu.com')


      优点： 
           代码简介，简单明了
      缺点： 
           如果设置sleep等待时间过短，元素还没加载出来，程序报错，sleep设置等待时间过长，元素早就加载出来了，程序还在等待，浪费是时间，影响代码整体的运行效率
      个人看法： 
           简单粗暴，根据网站的响应速度和自己的网速来设置合理的休眠时间

 

    2. implicitly_wait() 隐性等待

from selenium import webdriver
from time import sleep
driver = webdriver.Chrome()
driver.implicitly_wait(20)  #设置等待20秒钟
driver.get('http://www.baidu.com')


      优点： 
          1.代码简介
          2.在代码前部分加implicitly_wait(10) ，整个的程序运行过程中都会有效（作用于全局，直接在初始化driver的后面加，后面的代码都会受影响），都会等待元素加载完成
          3.在设置的时间内没有加载到整个页面，则会报NosuchElementError。如果元素在第10s被加载出来，自动执行下面的脚本，不会一直等待10s
      缺点：
          1. 非要加载到整个页面才执行代码，这样影响代码的执行效率，一般情况下，我们想要的结果是只需加载到了我要定位的元素就执行代码，不需要等待整个页面的完全加载出来再执行代码。
      个人看法： 
          1.不适合用在数据在ajax的网站中，比如翻页什么的，某个元素一直存在，但是数据一直在变，这样的话只要加载出来第一页，后面翻页的数据全部会和第一页的数据相同，因为代码判断了这个元素已经被加载出来了，不会等ajax去加载

 

    3. WebDriverWait（）显示等待

from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait       #WebDriverWait注意大小写
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('http://www.baidu.com')
try:
    element = 
    WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,'kw')))
    element.send_keys('123')
    driver.find_element_by_id('su').click()
except Exception as message:
   print('元素定位报错%s'%message)
finally:
   pass

    优点：
           代码执行效率快。无需等待整个页面加载完成，只需加载到你要定位的元素就可以执行代码。是最智能的设置元素等待的方式。
    缺点：
           1.要导入from selenium.webdriver.support import expected_conditions as EC
            from selenium.webdriver.support.ui import WebDriverWait
            from selenium.webdriver.common.by import By
            必须要导入以上3个包，导包路径相当的复杂，啰嗦而且麻烦
           2.写等待时间的代码也是复杂。步骤稍微有点多。
                element=WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,‘kw’)))
                element.send_keys(‘123’)
     个人看法： 相比于两种，这种方式可以算的上好的了，但是就是麻烦，写的代码太多，使用的话可以和第一种方式sleep混合使用，不过我还是喜欢用sleep，本身使用selenium就是没办法破开网站，或者使用selenium比直接破解的方式更好才使用这种，我个人是能不用就不用，抓取速度太慢了。

附上我抓取一个网站的代码，这网站作者的成果抓不到，只好用这种方式来抓了：

 

from selenium import webdriver
import time
from lxml.html import etree
import copy
import json
from selenium.webdriver.common.by import By
from  selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


def getAuthors():
    j1 = set()
    f = open('Author.json', 'r', encoding='utf-8')
    data = f.read()
    data_list = data.split('\n')
    for dt in data_list:
        j1.add(dt)
    f.close()
    print('j1= ', len(j1))
    j2 = set()
    f1 = open('yzq.json', 'r', encoding='utf-8')
    data1 = f1.read()
    data_list1 = data1.split('\n')
    for dt in data_list1:
        j2.add(dt)
    print('j2= ', len(j2))
    countSet = j1 - j2
    print('countset= ', len(countSet))
    AuthorsData = []
    for dt in countSet:
        dt_json = json.loads(dt)
        if int(dt_json["成果"]) > 0:
            AuthorsData.append(dt_json)
    # dt = {'img': 'https://www.scholarmate.com/avatars/99/92/62/37572.jpg', 'name': '吴伟',
    #       'url': 'https://www.scholarmate.com/P/aeiUZr', 'org': '复旦大学, 教授', '项目': 20, '成果': 234, 'H指数': '24'}
    print('AuthorData= ', len(AuthorsData))
    return AuthorsData

def parseHtml(html, i):
    temp_list = []
    html_data = etree.HTML(html)
    project_html = html_data.xpath('//div[@class="pub-idx__main"]')
    for p in project_html:
        # pro_name = p.xpath('./div[@class="pub-idx__main_title"]/a/@title')[0]
        pro_name = p.xpath('.//a/@title')[0].strip().replace(r'\xa0', '')
        # pro_url = p.xpath('./div[@class="pub-idx__main_title"]/a/@href')[0]
        pro_url = p.xpath('.//a/@href')[0]
        pro_author = p.xpath('./div[2]/@title')[0].strip().replace('\xa0', '')
        # pro_author = p.xpath('.//div[@class="pub-idx__main_author"]/@title')
        pro_inst = p.xpath('./div[3]/@title')[0]
        temp_dict = {
            'num': i,
            'pro_name': pro_name,
            'pro_url': pro_url,
            'pro_author': pro_author,
            'pro_inst': pro_inst
        }
        temp_list.append(copy.deepcopy(temp_dict))
    return temp_list



def parseData(author_data):
    try:
        url = author_data['url']
        ach_num = int(author_data['成果'])
        pages = ach_num // 10
        pages_ys = ach_num % 10
        if pages_ys > 0:
            pages += 1
        driver = webdriver.Chrome()
        # driver.implicitly_wait(10)
        driver.get(url)
        psn_data = []
        for i in range(1, pages+1):
            if i == 1:
                # 防止抓取到半路的时候页面没有响应，这部分数据就直接扔掉
                try:
                    # time.sleep(2)
                    driver.find_element_by_xpath('//*[@id="pubTab"]').click()
                    # time.sleep(3)
                    # 有以下这些选择
                    # WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.ID, 'pub-idx__main')))
                    # WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.CLASS_NAME, 'pub-idx__main')))
                    # WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.CSS_SELECTOR, './/pub-idx__main')))
                    # 这个也不适合这个网站，还是会抓到重复的
                    WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.XPATH, '//div[@class="pub-idx__main"]')))
                    html = driver.page_source
                    temp_dict = parseHtml(html, i)
                    psn_data.append(copy.deepcopy(temp_dict))
                except:
                    import traceback
                    print(traceback.print_exc())
                    pass
            else:
                # driver.find_element_by_xpath('//*[@id="pubTab"]').click()
                # 将页面拉到底部
                try:
                    js = "var q=document.documentElement.scrollTop=100000"
                    driver.execute_script(js)
                    # time.sleep(1)
                    driver.find_element_by_xpath('//div[@class="pagination__pages_next"]').click()
                    # time.sleep(2)
                    WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.XPATH, '//div[@class="pub-idx__main"]')))
                    html = driver.page_source
                    temp_dict = parseHtml(html, i)
                    psn_data.append(copy.deepcopy(temp_dict))
                except:
                    pass
        driver.close()
        psn_data = {
            'init_data': author_data,
            'psn_data': psn_data
        }
        print(psn_data)
        psn_data_string = json.dumps(psn_data, ensure_ascii=False)
        with open('data.json', 'a+', encoding='utf-8') as f:
            f.write('{}\n'.format(psn_data_string))

        author_data_string = json.dumps(author_data, ensure_ascii=False)
        with open('yzq.json', 'a+', encoding='utf-8') as f:
            f.write('{}\n'.format(author_data_string))

    except:
        pass
        # import traceback
        # print(traceback.print_exc())
        # au_strign = json.dumps(author_data, ensure_ascii=False)
        # author_data_string = json.dumps(au_strign, ensure_ascii=False)
        # with open('error.json', 'a+', encoding='utf-8') as f:
        #     f.write('{}\n'.format(author_data_string))





def main():
    # authors的值：给出三条
    # {"img": "https://www.scholarmate.com/avatars/e4/fe/1e/1000002077830.png?A=DMkT", "name": "胡婷",
    #  "url": "https://www.scholarmate.com/P/QFFbae", "org": "四川大学, 主治医师", "项目": "0", "成果": "11", "H指数": "0"}
    # {"img": "https://www.scholarmate.com/avatars/01/ea/59/1000002180047.png?A=DVUy", "name": "白晓涓",
    #  "url": "https://www.scholarmate.com/P/73me22", "org": "", "项目": "6", "成果": "8", "H指数": "0"}
    # {"img": "https://www.scholarmate.com/avatars/fe/0d/89/1000000732306.png?A=D65r", "name": "原鹏飞",
    #  "url": "https://www.scholarmate.com/P/77nIFr", "org": "国家统计局统计科学研究所, 副研究员", "项目": "0", "成果": "90", "H指数": "0"}

    AuthorsData = getAuthors()
    for authors in AuthorsData:
        print('author= ', authors)
        parseData(authors)


if __name__ == '__main__':
    main()

   友情链接：

            https://www.cnblogs.com/zhaof/p/6953241.html

            https://blog.csdn.net/xiezhiming1234/article/details/83865314

           https://www.cnblogs.com/April-Chou-HelloWorld/p/8855760.html

G_scsd
关注
  • 6
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Selenium 学习 6 - 等待 Wait
菜鸟Kira的博客
04-07 327
在之前的实例中经常使用到 sleep()，一般在脚本调试的时候经常用到，因为在UI自动化的时候使用 sleep() 可以更方便观察页面的变化。 隐式等待 # 设置 webdriver 的等待时间 driver.implicitly_wait() time.sleep() 是线程休眠，属于强制等待，代码执行每次遇到 sleep() 都要等待 driver.implicitly_wait() 并非等待，而是设置一个超时时间，作用域为全局（当前 webdriver 实例中）即只需设置一次。并不针对页面上的某一
selenium - webdriver - Wait()
xiaopei_zhai的专栏
09-30 813
文章目录 1- 强制等待:sleep() 2- 隐式等待:implicitly_wait() 3- 显示等待:WebDriverWait() （1）与until()或者until_not()方法结合使用 （2）WebDriverWait与expected_conditions结合使用 （3）显示等待,自定义等待条件 强制等待:sleep() import time sleep(5) #等待5秒 设置固定休眠时间，单位为秒。 由python的time包提供, 导入 time 包后就可以使用。 缺点：不智能
java selenium智能等待页面加载完成示例代码
01-20
java selenium  智能等待页面加载完成 我们经常会碰到用selenium操作页面上某个元素的时候， 需要等待页面加载完成后， 才能操作。  否则页面上的元素不存在，会抛出异常。  或者碰到AJAX异步加载，我们需要等待元素加载完成后， 才能操作 selenium 中提供了非常简单，智能的方法，来判断元素是否存在.  阅读目录 实例要求 隐式等待 显式等待 实例要求 实例：set_timeout.html　下面的html 代码,  点击click 按钮5秒后， 页面上会出现一个红色的div快， 我们需要写一段自动化脚本智能的去判断这个div是否存在， 然后把这个div
Python Selenium 设置元素等待的三种方式
09-17
主要介绍了Python Selenium 设置元素等待的三种方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python + Selenium —— 三种等待方式！
m0_58026506的博客
01-29 751
为什么需要等待？自动化测试脚本在运行时，由于网络原因、机器卡顿、页面元素呈现等原因，导致定位失败。定位失败导致元素无法操作，获取不到用于断言的内容。最终在检查测试结果时就会出现很多因为这些原因而导致的测试失败，需要花大量精力来排查才能找到真正意义上的问题。
Selenium.HtmlElements.Net:Selenium.WebDriver的元素模型
05-24
HtmlElements是.NET库，通过允许您创建更复杂和复杂的页面对象，对页面对象模型进行了补充。 它还为常用HTML元素（链接，输入字段，图像，框架等），备用等待语法，智能框架和一些其他有用的实用程序提供了一组标准页面对象。 您可以通过安装 nuget软件包将其添加到项目中。 可以在找到更多信息。 Web组件 HtmlElements库的主要目标是将任何给定的页面或页面的一部分表示为较小的可重用组件集。 每个组件都是具有任意数量的嵌套组件和公共方法的类。 较小的组件会创建类似于DOM的层次结构，顶部是页面组件。 假设我们要对列出nuget包（ ）的页面进行建模，我们可以将列表中的每个包描述为一个单独的组件，然后在页面对象中将此类组件的列表描述为一个整体。 public class NugetPackageListPage { [ FindsBy ( How
3.7 Web自动化 --- 元素三大等待方式
Following my own heart
09-15 452
一、死等，硬等待 -- sleep 1. python用法 参数以秒为单位 import time time.sleep(3) 2. java用法 参数以毫秒为单位 Thread.sleep(3000); 3. 优点缺点 1） 优点： 使用简单 2) 缺点： 无论元素是否找到，都会等待所设置的时间，容易造成时间浪费 二、 隐式等待 --- implicityWait() 1. python用...
Python+Selenium UI自动化-等待语法
想做测开的点工
11-29 1424
百度搜索举例 import time from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait#显示等待导包 driver = webdriver.Chrome() driver.implicitly_wait(10)#通常写在最前面，全局生效 driver.get('file:///D:/untitled/web.html') driver.maximize_window() #固
driver.implicitly_wait()与time.sleep()的区别
diaoyinbo1979的博客
10-30 1万+
implicitly_wait(5)属于隐式等待，5秒钟内只要找到了元素就开始执行，5秒钟后未找到，就超时； time.sleep(5)表示必须等待5秒定位； 如何灵活运用这两种方式： 当某个页面元素变化多，影响多的情况下，用sleep,等页面元素稳定了，再定位。 如果用implicitly_wait(5)，还没等页面元素稳定后就定位 ，导致定位不准确，比如操作某个元素后，...
selenium中三种等待方式：sleep，implicitly_wait，WebDriverWait
努力是为了让自己更加有方向
10-08 1万+
三种等待方式：sleep 强制等待， sleep，设置等待多长时间，就要等待多长时间。通常使用这个等待方式的场景为，静态元素的加载，不需要从服务器上请求，可以很笃定的知道，多少时间之内，这个元素肯定会加载出来。 比如百度首页的登录按钮。点击登录时，会弹出登录窗口。但这个窗口其实在访问百度首页时就已经加载好了，点击登录时，并不是从服务器上请求再加载，而是直接加载静态页面，不受网速的影响，3s之内，肯定可以加载完成： from selenium import webdriver # 导入sleep from
Selenium等待时间——隐性等待（implicitly_wait()）
热门推荐
weixin_46830352的博客
12-13 1万+
web.implicitly_wait()，隐性等待设置了一个时间，在一段时间内网页是否加载完成，如果完成了，就进行下一步；在设置的时间内没有加载完成，则会报超时加载。 缺点是不智能，因为随着ajax技术的广泛应用，页面的元素往往都可以时间局部加载，也就是在整个页面没有加载完的时候，可能我们需要的元素已经加载完成了，那就么有必要再等待整个页面的加载，执行进行下一步，而隐性等待满足不了这一点； 　　另外一点，隐性等待的设置时全局性的，在开头设置过之后，整个的程序运行过程中都...
python selenium 弹出框处理的实现
12-25
弹出框有两种：页面弹出框（可定位元素能操作）、Windows弹出框（不能直接定位） 一、页面弹出框 等待弹出框出现之后，定位弹出框，操作其中元素 如：　 driver = webdriver.Chrome() driver.get(...
selenium WebDriver 中的几种等待--sleep(),implicitly_wait(),WebDriverWait()
最新发布
YLF123456789000的博客
03-27 728
设置等待#使用匿名函数行动吧，在路上总比一直观望的要好，未来的你肯定会感 谢现在拼搏的自己！如果想学习提升找不到资料，没人答疑解惑时，请及时加入扣群： 320231853，里面有各种软件测试+开发资料和技术可以一起交流学习哦。这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！
【selenium】三种等待方式
Yocczy的博客
08-29 1494
time模块中的sleep()方法，程序执行到此代码时强制等待一段时间。
web自动化之多种等待的总结
西门一刀的博客
02-02 561
driver.implicitly_wait(5)，WebDriverWait(driver,30,0.5)until(expected_conditions.alert_is_present())与time.sleep(5)的区别 driver.implicitly_wait(5)是隐式等待 1.隐式等待是一种智能等待，可以自动判断需要等待多久，括号中的5代表最大等待时间 2.隐式等待只需要在声...
【Python自动化测试】：3种元素等待方式
Lucifer__hell的博客
03-14 1117
【代码】【Python自动化】3种元素等待方式。
selenium之三种等待方式
weixin_48323589的博客
06-28 2013
selenium的三种等待方式：强制等待，显示等待，隐式等待
Selenium等待机制之显示等待
weixin_53782558的博客
11-16 3123
Selenium等待机制之显示等待
python selenium 等待页面加载完毕_python3 selenium 设置元素等待的三种方法
05-25
在使用 Python 的 Selenium 进行自动化测试时，有时候需要等待页面元素加载完毕才能进行下一步操作，否则可能会出现找不到元素或者元素还没有加载完全的情况。下面介绍三种设置元素等待的方法。 1. 隐式等待 隐式等待是设置一个全局等待时间，当查找元素时如果未能立即找到则会等待一段时间，直到超时为止。这种等待方式在整个测试过程中都有效，比较方便。 示例代码： ```python from selenium import webdriver driver = webdriver.Chrome() driver.implicitly_wait(10) # 隐式等待10秒 # 接下来的操作，在元素加载完毕前最多等待10秒 ``` 2. 显式等待 显式等待是指在代码中指定等待条件，当满足条件时才进行下一步操作。这种等待方式更加灵活，可根据具体场景设置不同的等待条件，比如等待元素可见、可点击、出现在页面中等。 示例代码： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() wait = WebDriverWait(driver, 10) # 显式等待10秒 # 等待元素可见 element = wait.until(EC.visibility_of_element_located((By.ID, 'myId'))) # 等待元素可点击 element = wait.until(EC.element_to_be_clickable((By.XPATH, '//button[text()="Click Me"]'))) ``` 3. sleep 等待 sleep 是最简单的等待方式，它会暂停当前线程指定的时间，不管页面元素是否已经加载完毕。这种等待方式不太灵活，如果页面元素加载时间较长，可能会导致等待时间不够，从而出现找不到元素的情况。 示例代码： ```python from selenium import webdriver import time driver = webdriver.Chrome() # 等待3秒 time.sleep(3) # 接下来的操作，在元素加载完毕前最多等待3秒 ``` 以上三种等待方式，根据实际情况选择合适的方式即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值