python爬虫之Selenium用法

1 Selenium介绍

（1）定义
selenium是⼀个web的自动化测试⼯具，最初是为网站自动化测试而开发的，selenium可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至截屏
（2）安装
chromedriver是⼀个驱动Chrome浏览器的驱动程序，可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：
Chrome ：https://sites.google.com/a/chromium.org/chromedriver/downloads
Firefox：https://github.com/mozilla/geckodriver/releases
Edge：https://developer.microsoft.com/en-us/microsoft-
edge/tools/webdriver/
Safari：https://webkit.org/blog/6900/webdriver-support-in-
safari-10/
（3）我们一般以下载chromedriver为操作，安装步骤：
百度搜索：淘宝镜像(https://npm.taobao.org/
安装总结：https://www.jianshu.com/p/a383e8970135
安装
Selenium ：pip install selenium

2 Phantomjs

无头浏览器：⼀个完整的浏览器内核,包括js解析引擎,渲染引擎,请求处理等,但是不包括显示和用户交互页面的浏览器

'''
 Phantomjs 使用
 # PhantomJS 无界面浏览器
'''
from selenium import webdriver
import time

# 1 加载网页
driver = webdriver.PhantomJS('F:\教材\python学习\python练习\\26\phantomjs.exe')
# 打开百度
driver.get('https://www.baidu.com/')
driver.save_screenshot('baidu.png') # 截屏

# 2 定位操作
driver.find_element_by_id('kw').send_keys('python') # 传入搜索关键词
driver.find_element_by_id('su').click() # 百度一下 按钮
driver.save_screenshot('baidu.png') # 截屏

# 3 查看请求信息
# 查看网页源代码
print(driver.page_source)
# 查看当前请求的url地址
print(driver.current_url)
# 查看当前网页cookie值
driver.get_cookies()

3 Selenium

from selenium import webdriver
import time
# 实例化打开浏览器
driver = webdriver.Chrome()
# 发送请求,打开百度
driver.get('https://www.baidu.com/')
# 窗口最大化
driver.maximize_window()
# 窗口最小化
driver.minimize_window()
# 等待3秒
time.sleep(3)
# 关闭窗口
driver.close()

3.1 定位元素

• ind_element_by_id：根据id来查找某个元素
• find_element_by_class_name：根据类名查找元素
• find_element_by_name：根据name属性的值来查找元素
• find_element_by_tag_name：根据标签名来查找元素(不推荐，标签值太多)
• find_element_by_xpath：根据xpath语法来获取元素
• find_element_by_css_selector：根据css选择器选择元素（要注意，find_element 是获取第⼀个满足条件的元素。
  find_elements是获取所有满足条件的元素）

'''
selenium定位元素
- ind_element_by_id：根据id来查找某个元素
- find_element_by_class_name：根据类名查找元素
- find_element_by_name：根据name属性的值来查找元素
- find_element_by_tag_name：根据标签名来查找元素(不推荐，标签值太多)
- find_element_by_xpath：根据xpath语法来获取元素
- find_element_by_css_selector：根据css选择器选择元素
'''
from selenium import webdriver
import time
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()

# 打开百度
driver.get('https://www.baidu.com/')
# 定位元素
# find_element_by_id 更加id来查找某个元素
driver.find_element_by_id('kw').send_keys('python')
driver.find_element(By.ID,'kw').send_keys('java')

# find_element_by_class_name：根据类名查找元素
driver.find_element_by_class_name('s_ipt').send_keys('Jerry')
driver.find_element(By.CLASS_NAME,'s_ipt').send_keys('Tony')

# find_element_by_name：根据name属性的值来查找元素
driver.find_element_by_name('wd').send_keys('James')
driver.find_element(By.NAME,'wd').send_keys('666')

# • find_element_by_tag_name：根据标签名来查找元素
# 不推荐,太多tag,不好定位
head = driver.find_element_by_tag_name('head')
print(head)

# find_element_by_xpath：根据xpath语法来获取元素
driver.find_element_by_xpath('//input[@id="kw"]').send_keys('同学们')
driver.find_element_by_xpath('//*[@id="kw"]').send_keys('同学们')

# find_element_by_css_selector：根据css选择器选择元素
# . class # id
driver.find_element_by_css_selector('.s_ipt').send_keys('python')
inputTag = driver.find_elements_by_tag_name('input')
print(inputTag,len(inputTag))

time.sleep(2)
driver.close()

3.2 操作表单元素

3.2.1 搜索框查询

'''
操作表单元素：
第一步：找到这个元素：id，name，xpath
第二步：使用send_keys(value)填充数据
第三步：点击查询 .click()
第四步：清空填充数据 .clear()
第五步：关闭页面 driver.close()

'''

driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
input_tag = driver.find_element_by_id('kw')
input_tag.send_keys('python')
time.sleep(2)
submitBtn = driver.find_element_by_id('su')
submitBtn.click()
input_tag.clear()  #  清空查询内容python
time.sleep(2)
driver.close()  # 关闭页面

# 注意要在网页内输入内容，要注意是否是input类型
# driver.find_element_by_id('su').send_keys('python') # 不能输入内容但是没有报错 标签是input type类型
# driver.find_element_by_id('head_wrapper').send_keys('python') # 不能输入内容但是报错了  标签不是input type类型

3.2.2 下拉框选择

select元素不能直接点击。因为点击后还需要选中元素。这时候selenium就专门为select标签提供了from selenium.webdriver.support.ui import Select。将获取到的元素当成参数传到这个类中，创建这个对象。以后就可以使用这个对象进行选择了。
以如下网址为示例：
https://www.17sucai.com/pins/demo-show?id=5926

from selenium import webdriver
from selenium.webdriver.support.ui import Select
import time

driver = webdriver.Chrome()
driver.get('https://www.17sucai.com/pins/demo-show?id=5926')
# 切换ifrane
driver.switch_to_frame(driver.find_element_by_id('iframe'))
# 找到下拉框
selectTag = Select(driver.find_element_by_name('country-wrap'))
# 获得选择项
# 1.根据值来选择
selectTag.select_by_value('CA')
# 2.根据索引来选择
selectTag.select_by_index(3)

3.3 行为链

有时候在页面中的操作可能要有很多步，那么这时候可以使用鼠标行为链类ActionChains来完成。比如现在要将鼠标移动到某个元素上并执行点击事件。

'''
行为链：即通过鼠标操作完成一系列动作
更多行为链信息见网址：http://selenium-python.readthedocs.io/api.html
'''

from selenium import webdriver
from selenium.webdriver.support.ui import Select
import time
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
# 定位到输入框
inputTag = driver.find_element_by_id('kw')
# 定位到百度按钮
submitBtn = driver.find_element_by_id('su')
# 实例化为鼠标
actions = ActionChains(driver)
# 把鼠标移动到输入框
actions.move_to_element(inputTag)
# 输入内容
actions.send_keys_to_element(inputTag,'python')
# 点击按钮 百度一下
actions.move_to_element(submitBtn)
actions.click()
# 点击右键
# actions.context_click(submitBtn )
# 双击鼠标
# actions.double_click(submitBtn )
# 提交行为链上的操作
actions.perform()

3.4 Selenium页面等待

3.4.1 获取cookie值

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')

cookies = driver.get_cookies() # 返回的是一个列表
for cookie in cookies:
    print(cookie)
    
print(driver.get_cookie('BD_HOME'))
# 删除cookie   
driver.delete_cookie('BD_HOME')
print('------------------------------')
print(driver.get_cookie('BD_HOME'))  # 获取不到了

3.4.2 页面等待

现在的网页越来越多采用了Ajax 技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。为了解决这个问题。所以Selenium提供了两种等待方式:一种是隐式等待、一种是显式等待。

• 隐式等待
  隐式等待:调用driver.implicitly_ wait。那么在获取不可用的元素之前，会先等待几秒中的时间

• 显式等待：显示等待:显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# 隐式等待 : 在获取不可用的元素之前，会先等待几秒中的时间
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
driver.implicitly_wait(2)  #
driver.find_element_by_id('kwfdfsfsdf').send_keys('python')

# 显式等待 : 表明某个条件成立后才执行获取元素的操作
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "kw"))
 )
    time.sleep(2)
finally:
    driver.quit()

'''
一些其他的等待条件:
● presence_of_element_located: 某个元素已经加载完毕了。
● presence_of_all_elements_located: 网页中所有满足条件的元素都加载完毕了。
● element_to_be_clickable: 某个元素是可以点击了。
'''

更多知识点击: http://selenium-python.readthedocs.io/waits.html

3.5 多窗口操作

有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_ to window来进行切换，具体切换到哪个页面，可以从driver.window handles中找到。

from selenium import webdriver
driver = webdriver.Chrome()

driver.get('https://www.baidu.com/') # 打开百度
# 同步打开另一个网址
driver.execute_script('window.open("https://www.douban.com/")') # 打开豆瓣
print(driver.current_url) # 打印的是百度的网址
# 切换到豆瓣执行
driver.switch_to_window(driver.window_handles[1])
print(driver.current_url)  # 打印的是豆瓣网址