Selenium详解

最新推荐文章于 2024-07-10 14:17:54 发布

tjh0001

最新推荐文章于 2024-07-10 14:17:54 发布

阅读量376

点赞数

分类专栏：知识点回顾

知识点回顾专栏收录该内容

60 篇文章 0 订阅

订阅专栏

Selenium是自动化测试工具，支持多种浏览器。爬虫中主要解决JaveScript渲染的问题。模拟浏览器进行输入点击等操作

安装方法：pip3 install selenium

用法：

1、基本用法

from selenium import webdriver  #浏览器驱动对象
from selenium.webdriver.common.keys import Keys #下方的Keys需要定义
from selenium.webdriver.support.wait import WebDriverWait #下方的WebDriverWait需要定义
from selenium.webdriver.support import expected_conditions as EC #下方的EC需要定义
from selenium.webdriver.common.by import By #下方的By也需要定义

browser = webdriver.Chrome() #声明了一个浏览器对象，可以用.后面加上一个浏览器的名称，也可以不添加环境变量在括号内添加路径亦可

try:
    browser.get("https://www.baidu.com/") #传入一个url,效果为跳出一个浏览器访问百度这个网址
    input = browser.find_element_by_id('kw') #找出id为kw的元素
    input.send_keys('Python') #向这些元素发送一些键，比如说敲入Python。比如在百度的输入框中输入Python
    input.send_keys(Keys.ENTER) #敲入回车，确定输入内容进入网页
    wait = WebDriverWait(browser,10) #调用等待
    wait .untll(EC.presence_of_element_located((By.ID,'content_left'))) #等待id为content_left的元素被加载出来
    print(browser.current_url) #打印出当前的URL
    print(browser.get_cookies())#再把cookies打印出来
    print(browser.page_source)#再把源代码打印出来
finally:
    browser.close() #关掉浏览器

2、声明浏览器对象：

from selenium import webdriver #需要声明浏览器对象必须引入这个包

browser = webdriver.Chrome() #生成一个Chrome浏览器对象,需要一个驱动文件
browser = webdriver.Firefox() #本行及下面三行同上，需要什么驱动文件自己去查
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

3、访问页面：

from selenium import webdriver #浏览器驱动对象

browser = webdriver.Chrome() #生成一个Chrome浏览器
browser.get("https://www.taobao.com") #传入一个url
print(browser.page_source) #把源代码打印出来
browser.close() #关掉浏览器

4、查找元素

①、查找单个元素

from selenium import webdriver

browser = webdriver.Chrome()
browser.get("https://www.taobao.com")
input_first = browser.find_element_by_id('q') #用find_element_by_id来寻找，这个id的名称为q；用id来选择元素； 以下的两个方法与此方法查找的结果应该一致，都是查找q
input_second = browser.find_element_by_css_selector('#q') #用css选择器来选择一个查找元素
input_third = browser.find_element_by_xpath('//*[@id="q"]') #用xpath选择器老选择一个查找的元素
print(input_first,input_second,input_third)
browser.close()

以上三种查找元素的方法虽然方法不同但是结果都是相同的，下面会列出查找元素的其他方法

find_element_by_name
find_element_by_xpath
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

查找单个元素（通用版）

from selenium import webdriver
from selenium.webdriver.common.by import  By

browser = webdriver.Chrome()
browser.get("https://www.taobao.com")
input_first = browser.find_element(By.ID,'q')
print(input_first)
browser.close()

②、查找多个元素

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements_by_css_selector('.service-bd li') #多个元素查找的方法只是比单个元素查找多了一个s
print(lis)
browser.close()

另一种方法

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements(By.CSS_SELECTOR,'.service-bd li') #多个元素查找的方法只是比单个元素查找多了一个s
print(lis)
browser.close()

其他查找元素的方法

find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

5、元素交互操作

①对获取的元素调用交互方法

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q') #搜索id为q的元素（淘宝的q元素为输入框）
input.send_keys('iphone') #在q元素中输入一个iPhone
time.sleep(1) #等待一秒钟
input.clear() #将这个文本框清空
input.send_keys('iPad') #又再次输入iPad
button = browser.find_element_by_class_name('btn-search') #查找btn-search元素
button.click() #调整搜索结果

6、交互动作

①将动作附加到动作链中串行执行

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame("iframeResult") #切换到iframeResult，进行拖拽的界面
source = browser.find_element_by_css_selector('#draggable') #获取拖拽的方块元素
target = browser.find_element_by_css_selector('#droppable') #获取目标放开的元素
actions = ActionChains(browser) #声明一个动作链对象
actions.drag_and_drop(source, target) #将source拖拽到target上面
actions.perform() #执行上面的动作

7、执行JavaScript ***

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') #下拉到网页的最下端
browser.execute_script('alert("To Bottom")') #弹出一个alert提示框双引号里面的是内容

8、获取元素信息

①获取属性

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = "https://www.zhihu.com/explore"
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo') #搜索id为zh-top-link-logo的元素赋值给logo
print(logo) #打印信息
print(logo.get_attribute('data-za-c')) #打印logo里面的class属性

②获取文本值

from selenium import webdriver

browser = webdriver.Chrome()
url = "https://www.zhihu.com/explore"
browser.get(url)
input = browser.find_element_by_class_name('zu-top-nav-link') #查找目标的元素
print(input.text) #打印出元素里的值

③获取ID、位置、标签名、大小

from selenium import webdriver

browser = webdriver.Chrome()
url = "https://www.zhihu.com/explore"
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question') #查找目标的元素
print(input.id) #打印ID
print(input.location) #打印在浏览器里面的位置
print(input.tag_name) #打印标签名
print(input.size) #在浏览器里面占多少的像素大小

9、Frame

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult') #进入到子Frame的iframeResult里面
source = browser.find_element_by_css_selector('#draggable')  #在子Frame里面找到这个对象
print(source) #打印出来
try:
    logo = browser.find_element_by_class_name('logo') #在子Frame里面查找logo元素，如果没有执行except
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame() #切换到外面的Frame
logo = browser.find_element_by_class_name('logo') #查找logo元素
print(logo) #打印logo元素信息
print(logo.text) #打印logo元素的文本

10、等待

①隐式等待

当使用了隐式等待执行测试的时候，如果web没有在BOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常。换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找DOM，默认的时间是0。

from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10) #传入等待的时间
browser.get("https://www.zhihu.com/explore")
input = browser.find_element_by_class_name('zu-top-add-question') #查找目标元素
print(input)

②显式等待

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get("https://www.taobao.com/")
wait = WebDriverWait(browser,10) #声明一个WebDriverWait对象在里面传入一个browser等待条件参数，一个最长等待时间参数
input = wait.until(EC.presence_of_element_located((By.ID,'q'))) #利用wait.until方法传入一些等待的条件，条件的参数是目标元素，获取输入框
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'.btn-search'))) #利用wait.until方法传入一些等待的条件，获取按钮
print(input,button)

以下是等待的判断条件
title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 元素加载出，传入定位元组，如(By.ID,"p")
visibility_of_element_presence_of_element_located 元素可见，传入定位元组
visibility_of 可见，传入元素对象
presence_of_all_elements_located 所有元素加载出
text_to_be_present_in_element 某个元素文本包含某文字
text_to_be_oresent_in_element_value 某个元素值包含某文字
frame_to_be_available_and_switch_to_it feame加载并切换
invisibility_of_element_located 元素不可见
element_to_be_clickable 元素可点击
staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
element_to_be_selected 元素可选择，传元素对象
element_located_to_be_selected 元素可选择，传入定位元组
element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
alert_is_present 是否出现Alert

11、前进后退

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get("https://www.baidu.com/")
browser.get("https://www.taobao.com/")
browser.get("https://www.python.org/")
browser.back() #后退一步
time.sleep(1) #睡眠一秒
browser.forward() #前进一步
browser.close()

12、Cookies

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies()) #打印知乎的cookies
browser.add_cookie({'name':'name','domain':'www.zhihu.com','value':'germey'}) #调用一个add_cookie方法把设置好的cookie加进入
print(browser.get_cookies()) #打印一下cookies
browser.delete_all_cookies() #把所有的cookies清空
print(browser.get_cookies()) #再次打印一下cookies

13、选项卡管理

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()') #执行execute_script（JS）方法打开一个新的选项卡
print(browser.window_handles) #打印返回一个所有窗口的引用
browser.switch_to_window(browser.window_handles[1]) #调用switch_to_window方法切换到第二个选项卡
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0]) #在切换到第一个选项卡
browser.get('https://python.org')

14、异常处理（异常太多演示一部分）

下面是错误异常代码的实例
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.find_element_by_id('hello')

异常的正确处理机制
from selenium import webdriver
from selenium.common.exceptions import TimeoutException,NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException: #超时异常
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException: #找不存在的元素异常
    print('No Element')
finally:
    browser.close()

tjh0001

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
2
评论
Selenium详解

Selenium是自动化测试工具，支持多种浏览器。爬虫中主要解决JaveScript渲染的问题。模拟浏览器进行输入点击等操作安装方法：pip3 install selenium用法：1、基本用法from selenium import webdriver #浏览器驱动对象from selenium.webdriver.common.keys import Keys #下方的K...
复制链接

扫一扫

专栏目录