selenium目录
selenium框架
selenium简介
- Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium 可以直接调用浏览器,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器),可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏等。
selenium工作原理
- webdriver本质是一个web-server,对外提供webapi,其中封装了浏览器的各种功能
- 不同的浏览器使用各自不同的webdriver
简单使用
import time
from selenium import webdriver
# 通过指定chromedriver的路径来实例化driver对象
driver = webdriver.Chrome(executable_path='./chromedriver')
# 控制浏览器访问url地址
driver.get("https://www.baidu.com/")
# 在百度搜索框中搜索'python'
driver.find_element_by_id('kw').send_keys('python')
# 点击'百度搜索'
driver.find_element_by_id('su').click()
time.sleep(6)
# 退出浏览器
driver.quit()
selenium常用使用方法
driver对象的常用属性和方法
- 在使用selenium过程中,实例化driver对象后,driver对象有一些常用的属性和方法
driver.page_source 当前标签页的网页源代码
driver.current_url 当前标签页的url
driver.close() 关闭当前标签页,如果只有一个标签页则关闭整个浏览器
driver.quit() 关闭浏览器
driver.forward() 页面前进
driver.back() 页面后退
driver.save_screenshot(img_name) 页面截图
driver对象定位标签元素获取标签对象的方法
- selenium中可以通过多种方式来定位标签,返回标签元素对象
find_element_by_id (返回一个元素)
find_elements_by_class_name (根据类名获取元素列表)
find_elements_by_name (根据标签的name属性值返回包含标签对象元素的列表)
find_elements_by_xpath (返回一个包含元素的列表)
find_elements_by_link_text (根据连接文本获取元素列表)
find_elements_by_partial_link_text (根据链接包含的文本获取元素列表)
find_elements_by_tag_name (根据标签名获取元素列表)
find_elements_by_css (根据css选择器来获取元素列表)
- 注意:
- find_element和find_elements的区别:
- 多了个s就返回列表,没有s就返回匹配到的第一个标签对象
- find_element匹配不到就抛出异常,find_elements匹配不到就返回空列表
- by_link_text和by_partial_link_tex的区别:全部文本和包含某个文本
- 以上函数的使用方法
- driver.find_element_by_id(‘id_str’)
- find_element仅仅能够获取元素,不能够直接获取其中的数据,如果需要获取数据需要使用以下方法
- 获取文本element.text
- 通过定位获取的标签对象的text属性,获取文本内容
- 获取属性值element.get_attribute(“属性名”)
- 通过定位获取的标签对象的get_attribute函数,传入属性名,来获取属性的值
- 获取文本element.text
- find_element和find_elements的区别:
selenium其他使用方法
selenium标签页切换
selenium控制浏览器打开多个标签页时,如何控制浏览器在不同的标签页中进行切换呢?需要我们做以下两步:
- 获取所有标签页的句柄
- 利用句柄字符串切换到句柄指向的标签页
# 1. 获取当前所有的标签页的句柄构成的列表
current_windows = driver.window_handles
# 2. 根据标签页句柄列表索引下标进行切换
driver.switch_to.window(current_windows[0])
driver.switch_to.window(current_windows[1])
driver.switch_to.window(current_windows[2])
......
switch_to切换frame标签
iframe是html中常用的一种技术,即一个页面中嵌套了另一个网页,selenium默认是访问不了frame中的内容的,对应的解决思路是driver.switch_to.frame(frame_element)。接下来我们来看看qq空间模拟登陆:
from selenium import webdriver
url = 'https://qzone.qq.com/'
driver = webdriver.Chrome()
#打开qq空间主页
driver.get(url)
# 第1种方法 . 根据id切换到框架里 (iframeid不变的情况下)
driver.switch_to.frame('login_frame')
#页面有多个frame 输入对应的索引
driver.switch_to.frame(0)
# 第2种方法. 先找到框架 在切换到框架里
#(iframeid不变的情况下)
el_frame = driver.find_element_by_xpath('//*[@id="login_frame"]')
#(iframeid变的情况下) 采用Xpath语法中的contains(包含)
el_frame = driver.find_element_by_xpath('//*[contains(@id,"login_frame")]')
# 切换到框架里
driver.switch_to.frame(el_frame)
#点击账号密码登录
driver.find_element_by_id('switcher_plogin').click()
driver.find_element_by_id('u').send_keys('3114939465')
driver.find_element_by_id('p').send_keys('xxxxx')
#点击登录
driver.find_element_by_id('login_button').click()
- 找iframeid,如下:
selenium对cookie的处理
driver.get_cookies()返回列表,其中包含的是完整的cookie信息!不光有name、value,还有domain等cookie其他维度的信息。所以如果想要把获取的cookie信息和requests模块配合使用的话,需要转换为name、value作为键值对的cookie字典
# 获取cookie
# 获取当前标签页的全部cookie信息
print(driver.get_cookies())
# 把cookie转化为字典
cookies_dict = {cookie[‘name’]: cookie[‘value’] for cookie in driver.get_cookies()}
# ------------------------
# 删除cookie
#删除一条cookie
driver.delete_cookie("CookieName")
#删除所有的cookie
driver.delete_all_cookies()
selenium控制浏览器执行js代码
selenium可以通过driver.execute_script(js代码)让浏览器执行我们规定的js代码
import time
from selenium import webdriver
driver = webdriver.Chrome('./chromedriver')
driver.get("http://www.itcast.cn/")
time.sleep(1)
js = 'window.scrollTo(0,document.body.scrollHeight)' # js语句
driver.execute_script(js) # 执行js的方法
time.sleep(5)
driver.quit()
selenium开启无界面模式
绝大多数服务器是没有界面的,selenium控制谷歌浏览器也是存在无界面模式的
- 开启无界面模式的方法
- 实例化配置对象
- options = webdriver.ChromeOptions()
- 配置对象添加开启无界面模式的命令
- options.add_argument("–headless")
- 配置对象添加禁用gpu的命令
- options.add_argument("–disable-gpu")
- 实例化带有配置对象的driver对象
- driver = webdriver.Chrome(’./chromedriver’, chrome_options=options)
- 实例化配置对象
from selenium import webdriver
options = webdriver.ChromeOptions() # 创建一个配置对象
options.add_argument("--headless") # 开启无界面模式
options.add_argument("--disable-gpu") # 禁用gpu
driver = webdriver.Chrome('./chromedriver', chrome_options=options) # 实例化带有配置的driver对象
driver.get('http://www.itcast.cn')
print(driver.title)
driver.quit()
-
注意:
- macos中chrome浏览器59+版本,Linux中57+版本才能使用无界面模式!
selenium使用代理ip
selenium控制浏览器也是可以使用代理ip的!
- 使用代理ip的方法
- 实例化配置对象
- options = webdriver.ChromeOptions()
- 配置对象添加使用代理ip的命令
- options.add_argument(’–proxy-server=http://202.20.16.82:9527’)
- 实例化带有配置对象的driver对象
- driver = webdriver.Chrome(’./chromedriver’, chrome_options=options)
- 实例化配置对象
from selenium import webdriver
options = webdriver.ChromeOptions() # 创建一个配置对象
options.add_argument('--proxy-server=http://202.20.16.82:9527') # 使用代理ip
driver = webdriver.Chrome('./chromedriver', chrome_options=options) # 实例化带有配置的driver对象
driver.get('http://www.itcast.cn')
print(driver.title)
driver.quit()
selenium替换user-agent
selenium控制谷歌浏览器时,User-Agent默认是谷歌浏览器的,这一小节我们就来学习使用不同的User-Agent
- 替换user-agent的方法
- 实例化配置对象
- options = webdriver.ChromeOptions()
- 配置对象添加替换UA的命令
- options.add_argument(’–user-agent=Mozilla/5.0 HAHA’)
- 实例化带有配置对象的driver对象
- driver = webdriver.Chrome(’./chromedriver’, chrome_options=options)
- 实例化配置对象
from selenium import webdriver
options = webdriver.ChromeOptions() # 创建一个配置对象
options.add_argument('--user-agent=Mozilla/5.0 HAHA') # 替换User-Agent
driver = webdriver.Chrome('./chromedriver', chrome_options=options)
driver.get('http://www.itcast.cn')
print(driver.title)
driver.quit()