Python -- selenium爬虫

selenium官方文档

Selenium 相当于是一个机器人，可以模拟人类在浏览器上的操作

下载浏览器驱动

只有通过浏览器驱动才可以操作浏览器
以 Chrome 浏览器为例，需要下载 ChromeDriver，需要对应自己安装的浏览器版本下载相应的驱动，
Chrome驱动下载

Selenium 使用

获取网页源代码

from selenium import webdriver

# chromedriver 的绝对路径
driver_path = r"驱动安装路径"

# 初始化driver 并指定chromedriver的路径
# 可能会出现打开之后直接自动关闭的情况  增加下面的条件
# ===================================================
option = webdriver.ChromeOptions()
option.add_experimental_option("detach", True)
# ===================================================
driver = webdriver.Chrome(driver_path,options=option)

# 请求网页
driver.get("要打开的网页")
# 打印源代码
print(driver.page_source)

操作页面 / 浏览器

# 打开新的页面 通过执行脚本
driver.execute.script("window.open('http://www.baidu.com')")

# 打开新的页面后 需要切换页面 才能获取到新页面的网页源代码
# 例如 打开第二个页签
driver.switch_to.window(driver.window_handles[1])

# 关闭页面
driver.close()

# 关闭整个浏览器
driver.quit()

元素定位

# 1.根据元素ID定位元素
input_test = driver.find_element_by_id("input1")

# 2.根据class定位元素
input_test = driver.find_element_by_class_name("inputclass")
input_test = driver.find_elements_by_class_name("inputclass")

# 3.根据元素name 属性定位元素
input_test = driver.find_element_by_name("input1")
input_test = driver.find_elements_by_name("input1")

# 4.根据元素 xpath 属性定位元素 "//元素类型[@属性='属性值']"
input_test = driver.find_element_by_xpath("//input[@id='input1']")
input_test = driver.find_elements_by_xpath("//input[@id='input1']")

# 5.根据元素 css selector 属性定位元素
input_test = driver.find_element_by_css_selector("div #inputclass")
input_test = driver.find_elements_by_css_selector("div #inputclass")

# 6.根据元素 tag 属性定位元素 
input_test = driver.find_element_by_tag_name("input")
input_test = driver.find_elements_by_tag_name("input")

操作表单元素

# 1、输入框传入文本
input_test = driver.find_element_by_id("input1")
input_test.send_keys("python")

# 2、鼠标点击 例如点选、复选按钮
input_test = driver.find_element_by_id("checkbox1")
input_test.click()

# 3、下拉框 Select 点击之后还需要选择
from selenium.webdriver.support.ui import Select

select_tag = Select(driver.find_element_by_id("languageSelect"))
# 根据索引选择
select_tag.select_by_index(1)
# 根据指选择
select_tag.select_by_value('value')
# 根据现实的文本选择
select_tag.select_by_visible_text('显示的文本')

行为链

更人性化的模拟网页操作
1、避免网站在浏览器端通过解析用户操作步骤判断是否是爬虫行为
2、对于测试人员来说，更方便自己实现自动化测试

行为链支持很多鼠标行为，比如双击、点击后不松开等
官网文档

# 操作涉及多步骤时，可以使用鼠标行为链类
from selenium.webdriver import ActionChains
# 比如搜索时，线输入条件在点击搜索按钮

# 获取输入框
input_test = driver.find_element_by_id("input1")
# 获取搜索按钮
input_search= driver.find_element_by_id("searchbtn")

# 初始化行为链
actions = ActionChains(driver)

# 光标移动到输入框并输入文本
actions.move_to_element(input_test )
actions.send_keys_to_element(input_test ,'输入的文本')

# 光标移动到搜索按钮并点击
actions.move_to_element(input_search)
actions.click(input_search)

# 行为链执行
actions.perform()

操作 Cookie

# 获取所有 cookie
cookies = driver.get_cookies()

# 获取某一个cookie
cookie = driver.get_cookie('cookieName')

# 添加cookie
driver.add_cookie({'name':'name','value':'value'})

# 删除某一个cookie
driver.delete_cookie('cookieName')

# 删除所有cookie
driver.delete_all_cookies()

页面等待

现在的网页大部俄方那都是采用了 Ajax 技术，因此不能判断元素是不是在一开始就已经加载了，所以我们需要等待页面元素加载完。

• 隐式等待

  ...
  # 等待4秒后再执行后面的操作 但是对于4秒还没加载出来的元素仍然会找不到
  driver.implicitly_wait(4)
  

• 显式等待

  
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support import expected_conditions
  from selenium.webdriver.support.wait import WebDriverWait
  
  ...
  
  try:
  	
      WebDriverWait(driver,10).util(
        # 通过元素ID判断元素出现
          expected_conditions.presence_of_element_located((By.ID,"input"))
          # 元素满足某个条件 比如当某个输入框里面的文本是 测试文本
          expected_conditions.text_to_be_present_in_element_value((By.ID,"input"),'测试文本')
      )
      ...
  finally:
      driver.quit()
  

设置代理

# 获取网页属性
options = webdriver.ChromeOptions()

driver_path = r"驱动安装路径"
driver.switch_to.window(driver.window_handles[1])
# 设置代理
option.add_argument("--proxy-server = http://xxx.xx.xx.xxx:xxxx")
driver = webdriver.Chrome(driver_path,options=option)
driver.get("网页地址")