网络爬虫--Selenium的使用

为什么要使用Selenium?

JS动态渲染的页面不止Ajax这一种, 有些网站，不能直接分析Ajax来抓取， 难以直接找出其规律。

如何解决上述问题呢?

• 直接使用模拟浏览器运行的方式来实现，可见即可爬。
• Python提供了许多模拟浏览器运行的库，如Selenium、Splash、PyV8、Ghost等。

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。

为了模拟浏览器运行，需要安装对应的浏览器的驱动driver。
安装三大浏览器的驱动：chrome driver驱动器、Firefoxr驱动器、IE驱动器

以Linux下Firefox浏览器驱动安装为例：

1. 将 geckodriver-v0.23.0-linux64.tar.gz 移动到linux环境下，并解压。

2. mv geckodriver /usr/bin
   这样驱动就安装成功了。

模拟浏览器的步骤（以Firefox浏览器为例）：

1、声明浏览器对象

Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还有Android、BlackBerry等手机端的浏览器。另外，也支持无界面浏览器PhantomJS。

2、访问网址

运行后发现，弹出了Firefox浏览器并且自动访问了百度，然后控制台输出了百度页面的源代码，随后浏览器关闭。

# 1). 通过浏览器驱动打开浏览器
from selenium import webdriver

browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('http://www.baidu.com')

print(browser.page_source)

3、查找节点：单个节点/多个结点

Selenium可以驱动浏览器完成各种操作，比如填充表单、模拟点击等。比如，我们想要完成向某个输入框输入文字的操作，总需要知道这个输入框在哪里吧？查找多个节点只是element多了一个s。

节点交互的文档：https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement

• find_element_by_id
• find_element_by_name
• find_element_by_xpath
• find_element_by_link_text
• find_element_by_partial_link_text
• find_element_by_tag_name
• find_element_by_class_name
• find_element_by_css_selector
• find_element(By.ID, ‘q’)
• browser.find_element_by_id(‘q’)
• browser.find_element_by_css_selector(’#q’)
• browser.find_element_by_xpath(’//*[@id=“q”]’)

Selenium可以驱动浏览器来执行一些操作，也就是说可以让浏览器模拟执行一些动作。比较常见的用法有：输入文字时用send_keys()方法，清空文字时用clear()方法，点击按钮时用click()方法。

节点交互代码：

import time

from selenium import webdriver

# 1). 通过浏览器驱动打开浏览器
browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('http://www.baidu.com')
# 2-1) 节点查找：根据id=wd查找我们输入的表框对象
input = browser.find_element_by_id('kw')
# 2-2) 往表框input中填写信息python
input.send_keys('python')
# 2-3) 节点查找：根据id查找点击按钮
button = browser.find_element_by_id('su')
# 点击按钮
button.click()

time.sleep(5)
# 清空查询表单的内容
input.clear()
# 输入新的查询内容
input.send_keys('Java')
time.sleep(5)
button.click()

基于Selenium实现爬虫：

import time

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

# 1.通过驱动打开浏览器
brower = webdriver.Firefox()
# 2.浏览器通过get方式打开网页
brower.get('https://www.baidu.com')
# 3.通过id查找输入关键字的节点
input = brower.find_element_by_id('kw')
# 4.提交关键字
input.send_keys('python')
input.send_keys(Keys.ENTER)

time.sleep(10)
# 5.关闭浏览器
brower.close()

动作链

模拟浏览器过程中有一些操作，没有特定的执行对象，比如鼠标拖曳、键盘按键等，这些动作用动作链来执行。

下面以一个拖拽的案例为例：

1. 访问网址，查看源代码，发现源代码在子内联标签内,需先切换到frame
   2. 然后获取节点，实例化行为链，具体代码如下：

from selenium import webdriver

from selenium.webdriver import ActionChains

# 1.通过驱动打开浏览器
brower = webdriver.Firefox()
# 2.通过浏览器打开网址
brower.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
# 3.源代码信息在子内联标签内,需先切换到frame获取源代码
brower.switch_to.frame('iframeResult')
# 4.获取source对象, id = draggable
source_element = brower.find_element_by_id('draggable')
# 5. 获取target对象, id = droppable
target_element = brower.find_element_by_id('droppable')
# 6. 实例化行为链,将拖拽行为存储到行为链中
actions = ActionChains(brower)
# 7. 编写拖拽行为代码
actions.drag_and_drop(source_element, target_element)
# 8. 执行所有存储的行为链
actions.perform()
# 9. 关闭浏览器
brower.close()

获取节点信息与延时等待

获取节点信息:

方法一: page_source属性获取网页源代码，接着使用解析库提取信息。
方法二: Selenium提供选择节点的方法，返回的是WebElement类型，可直接提取节点信息。
  - 标签对象.get_attribute(‘属性名’)
  - 标签对象.text

延时等待：
  隐式等待： browser.implicitly_wait(10)
  显式等待： wait = WebDriverWait(browser, 10)
        input = wait.until(EC.presence_of_element_located((By.ID, ‘q’)))

前进与后退

常使用浏览器时都有前进和后退功能，Selenium也可以完成这个操作，它使用back()方法后退，使用forward()方法前进。

Cookies

使用Selenium，还可以方便地对Cookies进行操作，例如获取、添加、删除Cookies等。

选项卡管理

在访问网页的时候，会开启一个个选项卡。在Selenium中，我们也可以对选项卡进行操作。

import time

from selenium import webdriver

# 1.通过驱动打开浏览器
brower = webdriver.Firefox()
# 2.通过浏览器打开网页(第一个窗口)
brower.get('https://mail.qq.com')
# 3.打开新的窗口,通过执行script脚本
brower.execute_script('window.open()')
# print(brower.window_handles)
# 4. 切换到新的窗口
# brower.switch_to.window(brower.window_handles[0])
brower.switch_to.window(brower.window_handles[1])
# 5.新的窗口打开新的网址
brower.get('https://www.python.org')
time.sleep(5)
# 6.关闭浏览器
brower.close()

异常处理

在使用Selenium的过程中，难免会遇到一些异常，例如超时、节点未找到等错误，一旦出现此类错误，程序便不会继续运行了。这里我们可以使用try except语句来捕获各种异常。

项目案例：基于Selenium实现QQ邮箱登录

项目介绍: 本项目通过Selenium来模拟浏览器操作，并用Xpath解析输入邮箱账户名和密码并实现登录测试。一般用于自动化测试中。

1. 登录QQ邮箱网址，查看源代码，发现源代码中包含frame窗口
   2. 查看账号、密码和登录按钮的节点，最后点击登录按钮
   3. 具体代码如下：

import time
import unittest

from selenium import webdriver


class QQ_mail(unittest.TestCase):
    def setUp(self):
        """
        执行测试之前做的事情
        """
        # 1.通过驱动打开浏览器
        self.driver = webdriver.Firefox()
        # 要访问的网址
        self.mail_url = 'https://mail.qq.com'
        print("QQ邮箱正在启动中......")

    def test_mail_qq_login(self):
        driver = self.driver
        # 将窗口最大化
        driver.maximize_window()
        # 2.通过浏览器get方式访问QQ邮箱网址
        driver.get(self.mail_url)
        # 3.切换到login_frame的frame窗口,查看源代码
        driver.switch_to.frame('login_frame')
        # 4.获取填写用户名/QQ号码的input对象
        username = driver.find_element_by_id('u')
        # 填写用户名/QQ号码
        username.send_keys('854429157')
        # 5.获取填写密码的input对象
        password = driver.find_element_by_id('p')
        # 填写密码
        password.send_keys('*****')
        # 6.获取登录按钮的对象
        login_button = driver.find_element_by_id('login_button')
        # 点击登录按钮
        login_button.click()
        # 7.关闭浏览器
        time.sleep(10)
        driver.close()

        print("QQ邮箱登录成功")