052_Selenium & 案例QQ邮箱自动登陆

最新推荐文章于 2023-11-20 15:53:40 发布

煮面要加牛奶

最新推荐文章于 2023-11-20 15:53:40 发布

阅读量692

点赞数

分类专栏：爬虫文章标签： python selenium

本文链接：https://blog.csdn.net/qq_21156327/article/details/106078355

版权

爬虫专栏收录该内容

9 篇文章 0 订阅

订阅专栏

动态渲染页面爬取
在博客51_Ajax爬虫 & 案例微博页面爬取中介绍了利用 Ajax 解决页面动态渲染的问题，但是 JS 动态渲染的页面不止 Ajax 这一种，有些网站，不能直接分析 Ajax 来抓取，难以直接找出其规律，例如：

中国青年网，分页由 JS 生成但不包含 Ajax 请求。
ECharts 官方实例，图形都是经过 JS 计算之后生成的。
淘宝，其 Ajax 接口含有很多加密参数。

如何解决上述问题呢?
直接使用模拟浏览器运行的方式来实现 —> 可见即可爬
Python提供了许多模拟浏览器运行的库，如 Selenium、Splash、PyV8、Ghost 等。

1. 认识 Selenium

Selenium 是一个自动化测试工具，利用它程序可以驱动浏览器执行特定的动作，如点击、下拉 等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说，此种抓取方式非常有效。

驱动准备：
安装三大浏览器驱动 driver： chrome driver驱动器、Firefoxr驱动器、IE驱动器

Firefox 驱动器的安装范例：

将下载下来的 GeckoDriver.exe 放入 python 安装路径 (命令: where python) 下的 Scripts 文件夹内
最后进入 cmd 控制台，输入geckodriver，不报错即成功

2. Selenium 的使用

声明浏览器对象
Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还有Android、BlackBerry 等手机端的浏览器。另外，也支持无界面浏览器PhantomJS。

from selenium import webdriver

# 实例化浏览器对象，选择与驱动对应的其中一个即可
browser = webdriver.Firefox()
browser = webdriver.Chrome()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

访问页面
运行后发现，弹出了 Firefox 浏览器并且自动访问了淘宝，然后控制台输出了淘宝页面的源代码，随后浏览器关闭。

from selenium import webdriver

browser = webdriver.Firefox()
browser.get('https://www.baidu.com')
print(browser.page_source)
browser.close()

查找节点：单个节点/多个节点
Selenium 可以驱动浏览器完成各种操作，比如填充表单、模拟点击等。若想要完成向某个输入框输入文字的操作，总需要知道这个输入框在哪里？对于查找多个节点只是element多了一个 s 即可。

# 查找节点，单个节点
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name

find_element_by_class_name
find_element_by_css_selector
find_element(By.ID, 'q')
browser.find_element_by_id('q')
browser.find_element_by_css_selector('#q')
browser.find_element_by_xpath('//*[@id="q"]') # 支持xpath查找

示例：自动打开百度页面，并输入关键字python进行搜索，10s后关闭页面
分析：如下图所示，百度搜索框的 id='kw'，于是在节点查找中根据id=kw查找输入的表框对象
在这里插入图片描述
代码：

import time

from selenium import webdriver
# 1). 通过浏览器驱动打开浏览器
# 注意点: 下载驱动器文件到本地， 并移动到 (当前Python环境目录\Scripts\驱动文件)， 当前的Python环境目录如何获取? where python
from selenium.webdriver.common.keys import Keys

browser = webdriver.Firefox()

# 2). 通过浏览器访问网址
browser.get('https://www.baidu.com')
# 2-1). 节点查找: 根据id=kw查找我们输入的表框对象
input = browser.find_element_by_id('kw')
input.send_keys('python')
input.send_keys(Keys.ENTER)

time.sleep(10)

# 3) 关闭浏览器
browser.close()

执行结果：
在这里插入图片描述

节点交互操作
Selenium 可以驱动浏览器来执行一些操作，也就是说可以让浏览器模拟执行一些动作。比较常见的用法有：输入文字时用 send_keys() 方法，清空文字时用 clear() 方法，点击按钮时用 click() 方法。

示例：自动打开百度页面，输入关键字python进行搜索，等待3s，重新输入键字Java搜索
分析：如上图所示，百度搜索框的 id='kw'，如下图所示，搜索按钮的 id='su'，于是在节点查找中可根据 id 进行对象查找
在这里插入图片描述
代码：

import time
from selenium import webdriver


# 1). 通过浏览器驱动打开浏览器
browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('https://www.baidu.com')
# 2-1). 节点查找: 根据id=wd查找我们输入的表框对象
input = browser.find_element_by_id('kw')
# 往表框input中填写信息 python
input.send_keys('python')
button = browser.find_element_by_id('su')
# 点击按钮
button.click()
time.sleep(3)
# 清空查询表单的内容
input.clear()
# 重新填写搜索文字
input.send_keys('Java')
# 点击按钮, 实现查询
button.click()
time.sleep(5)

# 3) 关闭浏览器
browser.close()

动作连
有一些操作，没有特定的执行对象，比如鼠标拖曳、键盘按键等，这些动作用动作链来执行。

**示例：**利用程序完成页面https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable中“灰色方框”的拖拽
**分析：**在节点查找中根据 id 进行对象查找，如下图所示
在这里插入图片描述
代码：

import time
from selenium import webdriver
# 1). 通过浏览器驱动打开浏览器
from selenium.webdriver import ActionChains

browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
# 【重要】源代码信息在子内联标签里面， 切换 frame 获取源代码.
browser.switch_to.frame('iframeResult')
# 获取source对象,  id = draggable
source_element = browser.find_element_by_id('draggable')
# 获取target对象,  id = droppable
target_element = browser.find_element_by_id('droppable')
# 将拖拽行为存储到行为链中
ac = ActionChains(browser)
ac.drag_and_drop(source_element, target_element)
# 执行所有存储的行为链
ac.perform()

# 3) 关闭浏览器
browser.close()

执行结果：
在这里插入图片描述

获取节点信息与延时等待

获取节点信息：

方法一：page_source 属性获取网页源代码，接着使用解析库提取信息。
方法二：Selenium 提供选择节点的方法，返回的是 WebElement 类型，可直接提取节点信息 —> 标签对象.get_attribute('属性名')、标签对象.text

延时等待：

隐式等待：browser.implicitly_wait(10)
显式等待： wait = WebDriverWait(browser, 10)、input = wait.until(EC.presence_of_element_located((By.ID, 'q')))

前进与后退
常使用浏览器时都有前进和后退功能，Selenium 也可以完成这个操作，它使用back()方法后退，使用forward()方法前进。

import time
from selenium import webdriver

browser = webdriver.Firefox()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(3)
browser.forward()
browser.close()

Cookies
使用Selenium，还可以方便地对Cookies进行操作，例如获取、添加、删除Cookies等。

from selenium import webdriver

browser = webdriver.Firefox()
browser.get('https://www.zhihu.com/explore/')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

选项卡管理
在访问网页的时候，会开启一个个选项卡。Selenium也可以对选项卡进行操作。

代码示例：

from selenium import webdriver
# 1). 通过浏览器驱动打开浏览器
from selenium.webdriver import ActionChains

browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
# 打开浏览器访问百度网站(第一个窗口)
browser.get('https://www.baidu.com')

# 打开第二个窗口(通过执行script脚本)
browser.execute_script('window.open()')
print(browser.window_handles)
# 切换窗口到第二个窗口
browser.switch_to.window(browser.window_handles[1])
browser.switch_to.window(browser.window_handles[0])

browser.get('https://www.python.org')

# 3) 关闭浏览器
browser.close()

异常处理
在使用Selenium的过程中，难免会遇到一些异常，例如超时、节点未找到等错误，一旦出现此类错误，程序便不会继续运行了。这里我们可以使用try except语句来捕获各种异常。

2. 案例：基于Selenium实现QQ邮箱登录

**项目介绍：**通过Selenium来模拟浏览器操作，并用Xpath解析输入邮箱账户名和密码并实现登录测试。一般用于自动化测试中。

代码示例：

# 导入单元测试模块
import unittest
from selenium import webdriver
from passwd import passwd as mail_pwd  # 创建一个passwd.py存储你的邮箱登录密码，格式为：passwd='xxxxx'


class QQ_mail(unittest.TestCase):
    def setUp(self) -> None:
        """
        执行测试用例之前做的事情
        :return:
        """
        self.driver = webdriver.Firefox()
        self.mail_url = 'https://mail.qq.com/'
        print("QQ邮箱正在启动中........")

    def test_mail_qq_login(self):
        driver = self.driver
        # 将窗口最大化
        driver.maximize_window()
        # get方式访问QQ邮箱的网址
        driver.get(self.mail_url)

        # 切换到login_frame的frame窗口中
        driver.switch_to.frame('login_frame')
        # 获取填写用户名/QQ号码的input对象
        # <input type="text" class="inputstyle" id="u" name="u" value="" tabindex="1">
        username = driver.find_element_by_xpath('//*[@id="u"]')
        username.send_keys('xxxxx')  # 你的qq号
        # 获取填写密码的input对象
        # <input type="password" class="inputstyle password" id="p" name="p" value="" maxlength="16" tabindex="2">
        password = driver.find_element_by_xpath('//*[@id="p"]')
        password.send_keys(mail_pwd)  # 注意：填写的是你的QQ邮箱密码

        # 获取登录按钮的对象
        # <input type="submit" tabindex="6" value="登 录" class="btn" id="login_button">
        login_btn = driver.find_element_by_xpath('//*[@id="login_button"]')
        login_btn.click()

        print("QQ邮箱登录成功")

煮面要加牛奶

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
052_Selenium & 案例QQ邮箱自动登陆

动态渲染页面爬取在博客51_Ajax爬虫 & 案例微博页面爬取中介绍了利用 Ajax 解决页面动态渲染的问题，但是 JS 动态渲染的页面不止 Ajax 这一种，有些网站，不能直接分析 Ajax 来抓取，难以直接找出其规律，例如：中国青年网，分页由 JS 生成但不包含 Ajax 请求。ECharts 官方实例，图形都是经过 JS 计算之后生成的。淘宝，其 Ajax 接口含有很多加密参数。如何解决上述问题呢?直接使用模拟浏览器运行的方式来实现 —> 可见即可爬Python提供了
复制链接

扫一扫