selenium的简单基础教学与代码的使用

基于python的selenium库实现的爬虫技术

一、简介及作用
我们模拟登陆用的是selenium库，selenium是一个自动化测试工具，在爬虫中通常用来进行模拟登陆。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，同时Selenium也支持多种语言开发，比如 Java，C，Ruby、Python等等。
selenium可以模拟登录网站进去，获取到网站分析，用简单的html就可以分析标签得到我们想要的数据，避免了动态加密json格式等的不容易抓取的网站，缺点就是速度慢，采用多线程就导致高并发，看场景而用。

二、安装

这里我推荐给大家的安装工具是命令行，win+R输入cmd可以快速打开命令行工具

在命令行中输入以下命令即可安装，前提是你已经安装好Python环境且pip可以正常使用
pip install selenuim

三、下载驱动器

驱动器是我们在通过selenium模拟用户操作时需要的一个工具，我这里用的是Chromedriver（谷歌浏览器驱动，对应谷歌浏览器），下面是Chrome、Firefox、Safari等浏览器驱动的下载地址

下载完成后我们有两种掉用驱动器的方法，一种是把驱动器放到py文件同一文件夹下，另外一种就是将驱动器放到Python的安装目录下，以下是我的Python安装目录

四、简单实例

from selenium import webdriver
 
driver = webdriver.Chrome()
driver.get('http://www.baidu.com/')

六、定位标签
定位方法示例：
#获取网页中的h1标签
h1 = driver.find_element_by_name(“h1”)

#获取网页中所有的h1标签
h1_list = driver.find_elements_by_name(“h1”)

单个元素选取：find_element_by_idfind_element_by_namefind_element_by_xpathfind_element_by_link_textfind_element_by_partial_link_textfind_element_by_tag_namefind_element_by_class_namefind_element_by_css_selector

多个元素选取：find_elements_by_namefind_elements_by_xpathfind_elements_by_link_textfind_elements_by_partial_link_textfind_elements_by_tag_namefind_elements_by_class_namefind_elements_by_css_selector

七、页面操作selenium最主要的优势在于我们可以在代码中添加需要对网页进行的操作，比如输入提交表单、点击按钮、清空输入框等等。下面我将常用的操作一一列举出来

1.点击

driver.find_element_by_xpath("//div[@class='result c-container ']//h3/a").click()

2.输入文本

driver.find_element_by_xpath("//input[@name='wd']").send_keys("明天依旧可好")

3.清空输入框

driver.find_element_by_xpath("//input[@name='wd']").clear()

4.关闭浏览器

driver.close()

5.拖放

element = driver.find_element_by_name("source")
target = driver.find_element_by_name("target")

from selenium.webdriver import ActionChains
action_chains = ActionChains(driver)
action_chains.drag_and_drop(element, target).perform()

6.切换窗口窗口之间的切换是通过句柄的切换来完成的，每一个窗口对应着一个句柄（类似于ID） window_handles用于获取已经打开的所有窗口的句柄，返回列表；current_window_handle用户获取当前窗口的句柄，返回字符串。

#获取所有窗口句柄
window_handle_list = driver.window_handles
#切换回第一个窗口，通过句柄实现
driver.switch_to_window(window_handle_list[0])

八、等待页面加载（一）显示等待显式等待是你在代码中定义等待一定条件发生后再进一步执行你的代码。 最糟糕的案例是使用time.sleep()，它将条件设置为等待一个确切的时间段。 下面有一些方便的方法让你只等待需要的时间。WebDriverWait结合ExpectedCondition 是实现的一种方式。from selenium

import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

try:
 element = WebDriverWait(driver, 10).until(           
  EC.presence_of_element_located((By.XPATH, "//input[@name='wd']")))
finally:
 print("网页加载完成")

上面的代码最多等待 10 秒，超时后就抛出 TimeoutException，假设在第4秒就找到了这个元素，那么也就不会多等剩下的6秒使时间，而是继续执行后续代码。WebDriverWait 默认每 500 毫秒调用一次 ExpectedCondition 中的方法，直到它返回成功信号，如果成功，则返回相应的内容，否则返回布尔类型的 False。我这个是通过Xpath规则//input[@name=‘wd’]来判断页面是否渲染完成，当然你也可以换成其他的判断条件。我给出如下模板，

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

try:
 element = WebDriverWait(driver, 等待时间范围).until(           
  EC.实现条件((By.定位方式, 定位值)))
finally:
 print("网页加载完成")

（二）隐式等待隐式等待是在尝试发现某个元素的时候，如果没能立刻发现，就等待固定长度的时间。默认设置是0秒。一旦设置了隐式等待时间，它的作用范围就是Webdriver对象实例的整个生命周期。

from selenium import webdriver

driver = webdriver.Chrome(chrome_options=chrome_options)
driver.implicitly_wait(10)

driver.get('http://www.baidu.com/')
driver.find_element_by_xpath("//input[@name='wd']").send_keys("明天依旧可好")