Selenium 相当于是一个机器人,可以模拟人类在浏览器上的操作
下载浏览器驱动
只有通过浏览器驱动才可以操作浏览器
以 Chrome 浏览器为例,需要下载 ChromeDriver,需要对应自己安装的浏览器版本下载相应的驱动,
Chrome驱动下载
Selenium 使用
获取网页源代码
from selenium import webdriver
# chromedriver 的绝对路径
driver_path = r"驱动安装路径"
# 初始化driver 并指定chromedriver的路径
# 可能会出现打开之后直接自动关闭的情况 增加下面的条件
# ===================================================
option = webdriver.ChromeOptions()
option.add_experimental_option("detach", True)
# ===================================================
driver = webdriver.Chrome(driver_path,options=option)
# 请求网页
driver.get("要打开的网页")
# 打印源代码
print(driver.page_source)
操作页面 / 浏览器
# 打开新的页面 通过执行脚本
driver.execute.script("window.open('http://www.baidu.com')")
# 打开新的页面后 需要切换页面 才能获取到新页面的网页源代码
# 例如 打开第二个页签
driver.switch_to.window(driver.window_handles[1])
# 关闭页面
driver.close()
# 关闭整个浏览器
driver.quit()
元素定位
# 1.根据元素ID定位元素
input_test = driver.find_element_by_id("input1")
# 2.根据class定位元素
input_test = driver.find_element_by_class_name("inputclass")
input_test = driver.find_elements_by_class_name("inputclass")
# 3.根据元素name 属性定位元素
input_test = driver.find_element_by_name("input1")
input_test = driver.find_elements_by_name("input1")
# 4.根据元素 xpath 属性定位元素 "//元素类型[@属性='属性值']"
input_test = driver.find_element_by_xpath("//input[@id='input1']")
input_test = driver.find_elements_by_xpath("//input[@id='input1']")
# 5.根据元素 css selector 属性定位元素
input_test = driver.find_element_by_css_selector("div #inputclass")
input_test = driver.find_elements_by_css_selector("div #inputclass")
# 6.根据元素 tag 属性定位元素
input_test = driver.find_element_by_tag_name("input")
input_test = driver.find_elements_by_tag_name("input")
操作表单元素
# 1、输入框传入文本
input_test = driver.find_element_by_id("input1")
input_test.send_keys("python")
# 2、鼠标点击 例如点选、复选按钮
input_test = driver.find_element_by_id("checkbox1")
input_test.click()
# 3、下拉框 Select 点击之后还需要选择
from selenium.webdriver.support.ui import Select
select_tag = Select(driver.find_element_by_id("languageSelect"))
# 根据索引选择
select_tag.select_by_index(1)
# 根据指选择
select_tag.select_by_value('value')
# 根据现实的文本选择
select_tag.select_by_visible_text('显示的文本')
行为链
更人性化的模拟网页操作
1、避免网站在浏览器端通过解析用户操作步骤判断是否是爬虫行为
2、对于测试人员来说,更方便自己实现自动化测试
行为链支持很多鼠标行为,比如双击、点击后不松开等
官网文档
# 操作涉及多步骤时,可以使用鼠标行为链类
from selenium.webdriver import ActionChains
# 比如搜索时,线输入条件在点击搜索按钮
# 获取输入框
input_test = driver.find_element_by_id("input1")
# 获取搜索按钮
input_search= driver.find_element_by_id("searchbtn")
# 初始化行为链
actions = ActionChains(driver)
# 光标移动到输入框并输入文本
actions.move_to_element(input_test )
actions.send_keys_to_element(input_test ,'输入的文本')
# 光标移动到搜索按钮并点击
actions.move_to_element(input_search)
actions.click(input_search)
# 行为链执行
actions.perform()
操作 Cookie
# 获取所有 cookie
cookies = driver.get_cookies()
# 获取某一个cookie
cookie = driver.get_cookie('cookieName')
# 添加cookie
driver.add_cookie({'name':'name','value':'value'})
# 删除某一个cookie
driver.delete_cookie('cookieName')
# 删除所有cookie
driver.delete_all_cookies()
页面等待
现在的网页大部俄方那都是采用了 Ajax 技术,因此不能判断元素是不是在一开始就已经加载了,所以我们需要等待页面元素加载完。
-
隐式等待
... # 等待4秒后再执行后面的操作 但是对于4秒还没加载出来的元素仍然会找不到 driver.implicitly_wait(4)
-
显式等待
from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions from selenium.webdriver.support.wait import WebDriverWait ... try: WebDriverWait(driver,10).util( # 通过元素ID判断元素出现 expected_conditions.presence_of_element_located((By.ID,"input")) # 元素满足某个条件 比如当某个输入框里面的文本是 测试文本 expected_conditions.text_to_be_present_in_element_value((By.ID,"input"),'测试文本') ) ... finally: driver.quit()
设置代理
# 获取网页属性
options = webdriver.ChromeOptions()
driver_path = r"驱动安装路径"
driver.switch_to.window(driver.window_handles[1])
# 设置代理
option.add_argument("--proxy-server = http://xxx.xx.xx.xxx:xxxx")
driver = webdriver.Chrome(driver_path,options=option)
driver.get("网页地址")