爬虫08-Selenium使用（简）

Selenium是一个自动化测试框架，可以模拟浏览器行为。
当网页是动态加载，没办法定位内容时，可以使用Selenium模拟浏览器操作网页。

官方文档：
http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions

1. 基本使用

加载工具包：

from selenium import webdriver  #浏览器驱动对象
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys   #控制键盘
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait  #停留时间

1.1 简单调用例子（chrome）

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com/')

回车后，浏览器会自动弹出，加载百度首页。

2. 声明浏览器对象

由上面例子可以看出，首先需要声明用什么浏览器。

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

3. 访问页面

声明浏览器对象->输入要访问的页面

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)  #打印网页源代码
browser.close()             #关闭网页

会弹出淘宝网首页，弹出后自动关闭。
如果需要等上几秒钟再关闭，可以设置等待时间：

from selenium.webdriver.support.wait import WebDriverWait  #停留时间
browser=webdriver.Chrome()
browser.get('https://www.taobao.com')
wait=WebDriverWait(browser, 5)   #等待5s
browser.close()                 #等待5s后再关

4. 查找元素

selenium可以使用标签选择器、CSS选择器以及Xpath选择器，查找内容。
分别对应：
find_element_by_id （使用id来寻找元素）
find_element_by_css_selector
find_element_by_xpath

我们以淘宝网举例，首先看下目标是想要查找什么：

想查找红框里的标签，打开开发者工具，可以定位下源代码。

可以看到，红框里的网页布局
“女装/内衣/家居”在同一行，源代码中，三者在一个li节点里面，分属三个a子节点。
下面“女鞋/男鞋/箱包”则是前一个li节点的兄弟节点：

4.1 定位元素位置

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')

#用id来寻找元素
input_first = browser.find_element_by_class_name('service-bd')

#利用css选择器寻找元素
input_second = browser.find_element_by_css_selector('li[data-groupid="0"] a')

#xpath选择器选择元素
input_third = browser.find_element_by_xpath("//ul[@class='service-bd']/li[1]/a[1]")

print(input_first,'\n',
      input_second,'\n',
      input_third,'\n')

browser.close()

这里输出的不是具体值。
其他的查找命令：

find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

还可以通过By的参数查找

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')

#通用查找方式
input_first = browser.find_element(By.ID, 'q')  #定位的是淘宝首页的搜索框
print(input_first)
browser.close()

4.2 获取元素信息

4.2.1 获取属性

还是以淘宝网为例，获取刚才a标签的链接：

from selenium import webdriver
browser=webdriver.Chrome()
url='https://www.taobao.com/'
browser.get(url)
#xpath选择器选择元素
input_third = browser.find_element_by_xpath("//ul[@class='service-bd']/li[1]/a[1]")
print(input_third.get_attribute('href'))

输出：
https://huodong.taobao.com/wow/a/act/tao/dailyact/2633/wupr?wh_pid=dailyAct-214753

4.2.2 获取文本值

以刚才淘宝网为例，现在获取“女装”的文本：

from selenium import webdriver

#定位 发现
browser = webdriver.Chrome()
url='https://www.taobao.com/'
browser.get(url)
input = browser.find_element_by_xpath("//ul[@class='service-bd']/li[1]/a[1]")

print(input.text)

输出：女装

4.2.3 获取网页上元素的ID、位置、标签名、大小（不是节点）

以知乎为例，定位搜索框，并输出搜索框在网页的位置：

from selenium import webdriver

#定位搜索框 并输出相关信息
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_id('Popover1-toggle')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)

4.3 多个元素

同样以淘宝网为例，现在想输出刚才红框里的所有词语文本：
函数为 .find_elements_by

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')

#只要是li节点下相邻a节点，就选出来--CSS选择器
lis1 = browser.find_elements_by_css_selector('li a')  #

#属性class为service-bd的ul节点，它下面的li节点所包含的a节点
#才会被选出来--Xpath
lis2=browser.find_elements_by_xpath("//ul[@class='service-bd']//li//a")

#构造空列表分别存放文本
textlist1=[] 
for i in lis1:
    t=i.text
    textlist1.append(t)
textlist2=[]
for i in lis2:
    t=i.text
    textlist2.append(t)
    
browser.close()

我们可以观察上面两种操作的结果有何不同。
第一种的选取不是很精确，选出的内容较多：
textlist1:

第二种选出来的内容是我们需要的：
textlist2:

还可以使用By函数的形式：

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')  #定位li节点

textlist3=[]
for i in lis:
    t=i.text
    textlist3.append(t)
browser.close()

上面的定位更不精确，选出的内容同样多

5. 元素交互操作

如：驱动浏览器搜索
思路是：定位搜索框->键盘回车键
关键是要定位到搜索框！

'''selenium怎么驱动Chrome浏览器百度"Python"这个词'''

browser = webdriver.Chrome()   #声明驱动对象
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')      #向元素中发送一些键法  这里是敲入'python'
    input.send_keys(Keys.ENTER)     #再敲入回车
    wait = WebDriverWait(browser, 10)    #等待10s
    
    #等待这个元素被加载出来
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)    #打印当前url
    print(browser.get_cookies())  #获取cookies
    print(browser.page_source)    #打印源代码
finally:
    browser.close()

再如驱动淘宝网页搜索商品：

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')  #搜索框
input.send_keys('iPhone')                #输入iPone
time.sleep(5)                            #等待5s
input.clear()                            #清空

input.send_keys('iPad')                  #再输入ipad
time.sleep(5)
button = browser.find_element_by_class_name('btn-search')    #找到搜索按钮
button.click()                           #点击按钮搜索

更多操作点击：
http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement

6. 等待

6.1 隐式等待

当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常, 换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是0

from selenium import webdriver

#在网速比较慢时，可以添加一个隐式等待
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)

6.2 显式等待

指定一个等待条件，再指定一个最长等待时间，那么会在这个最长等待时间内，判断条件是否成立，如果成立，会立即返回。如果不成立，会一直等待，直至等待到最长等待时间，如果还是不满足条件，会报异常。如果在等待时间内，满足条件了，会正常返回。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')

#最长等待时间
wait = WebDriverWait(browser, 10)  
#传入等待条件，参数是元组类型
#判断是否出现
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
#判断是否可点击
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))

print(input, button)

7. 前进后退

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
#后退
browser.back()

#睡眠1秒
time.sleep(1)

#前进
browser.forward()

#关闭
browser.close()

8. 选项卡管理

增加、跳转浏览器窗口

import time
from selenium import webdriver

#首先打开浏览器，进百度
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')

#新开窗口的方式（空白窗口）
browser.execute_script('window.open()')

#返回所有窗口的引用（根据这个引用跳转窗口）
print(browser.window_handles)

#切换到第二个选项卡
browser.switch_to_window(browser.window_handles[1])

#打开淘宝（这里是在刚才切换到的第二个选项卡中打开淘宝官网）
browser.get('https://www.taobao.com')
time.sleep(1)

#休息1秒后，转到第一个选项卡，打开python官网
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

9. 其他

个人会的还比价少，下面的没有实际用过，不知道在什么场景下使用，先记录下来。

9.1 交互动作

将动作附加到动作链中串行执行

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)

browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)  #动作链
actions.drag_and_drop(source, target)
actions.perform()

更多操作:
http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains

9.2 执行JavaScript

某些元素没有提供api
或上面的元素交互动作无法实现时

from selenium import webdriver

#知乎，下拉到进度条的最下方
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore') #定位网址

#传java script语句（emm,还不懂啥意思）
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')

browser.execute_script('alert("To Bottom")')   #网页提示，已下拉到最下方

9.3 Cookies

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())

browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

9.4 异常处理

异常处理的情况应该比较复杂，有多种情况，这里就一个小点，之后如果用到了再深入了解

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    
except TimeoutException:  #如果超时异常怎么办
    print('Time Out')
    
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:  #如果不存在，输出提醒
    print('No Element')
finally:
    browser.close()