动态渲染页面爬取
在博客51_Ajax爬虫 & 案例微博页面爬取中介绍了利用 Ajax 解决页面动态渲染的问题,但是 JS 动态渲染的页面不止 Ajax 这一种,有些网站,不能直接分析 Ajax 来抓取, 难以直接找出其规律,例如:
- 中国青年网,分页由 JS 生成但不包含 Ajax 请求。
- ECharts 官方实例,图形都是经过 JS 计算之后生成的。
- 淘宝,其 Ajax 接口含有很多加密参数。
如何解决上述问题呢?
直接使用模拟浏览器运行的方式来实现 —> 可见即可爬
Python提供了许多模拟浏览器运行的库,如 Selenium
、Splash
、PyV8
、Ghost
等。
1. 认识 Selenium
Selenium
是一个自动化测试工具,利用它程序可以驱动浏览器执行特定的动作,如点击
、下拉
等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说,此种抓取方式非常有效。
驱动准备:
安装三大浏览器驱动 driver: chrome driver驱动器、Firefoxr驱动器 、IE驱动器
Firefox 驱动器的安装范例:
- 将下载下来的 GeckoDriver.exe 放入 python 安装路径 (命令:
where python
) 下的 Scripts 文件夹内 - 最后进入 cmd 控制台,输入geckodriver,不报错即成功
2. Selenium 的使用
声明浏览器对象
Selenium支持非常多的浏览器,如Chrome、Firefox、Edge等,还有Android、BlackBerry 等手机端的浏览器。另外,也支持无界面浏览器PhantomJS。
from selenium import webdriver
# 实例化浏览器对象,选择与驱动对应的其中一个即可
browser = webdriver.Firefox()
browser = webdriver.Chrome()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()
访问页面
运行后发现,弹出了 Firefox 浏览器并且自动访问了淘宝,然后控制台输出了淘宝页面的源代码,随后浏览器关闭。
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('https://www.baidu.com')
print(browser.page_source)
browser.close()
查找节点: 单个节点/多个节点
Selenium 可以驱动浏览器完成各种操作,比如填充表单、模拟点击等。若想要完成向某个输入框输入文字的操作,总需要知道这个输入框在哪里?对于查找多个节点只是element多了一个 s 即可。
# 查找节点,单个节点
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
find_element(By.ID, 'q')
browser.find_element_by_id('q')
browser.find_element_by_css_selector('#q')
browser.find_element_by_xpath('//*[@id="q"]') # 支持xpath查找
示例:自动打开百度页面,并输入关键字python
进行搜索,10s后关闭页面
分析:如下图所示,百度搜索框的 id='kw'
,于是在节点查找中根据id=kw查找输入的表框对象
代码:
import time
from selenium import webdriver
# 1). 通过浏览器驱动打开浏览器
# 注意点: 下载驱动器文件到本地, 并移动到 (当前Python环境目录\Scripts\驱动文件), 当前的Python环境目录如何获取? where python
from selenium.webdriver.common.keys import Keys
browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('https://www.baidu.com')
# 2-1). 节点查找: 根据id=kw查找我们输入的表框对象
input = browser.find_element_by_id('kw')
input.send_keys('python')
input.send_keys(Keys.ENTER)
time.sleep(10)
# 3) 关闭浏览器
browser.close()
执行结果:
节点交互操作
Selenium 可以驱动浏览器来执行一些操作,也就是说可以让浏览器模拟执行一些动作。比较常见的用法有:输入文字时用 send_keys()
方法,清空文字时用 clear()
方法,点击按钮时用 click()
方法。
示例:自动打开百度页面,输入关键字python
进行搜索,等待3s,重新输入键字Java
搜索
分析:如上图所示,百度搜索框的 id='kw'
,如下图所示,搜索按钮的 id='su'
,于是在节点查找中可根据 id 进行对象查找
代码:
import time
from selenium import webdriver
# 1). 通过浏览器驱动打开浏览器
browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('https://www.baidu.com')
# 2-1). 节点查找: 根据id=wd查找我们输入的表框对象
input = browser.find_element_by_id('kw')
# 往表框input中填写信息 python
input.send_keys('python')
button = browser.find_element_by_id('su')
# 点击按钮
button.click()
time.sleep(3)
# 清空查询表单的内容
input.clear()
# 重新填写搜索文字
input.send_keys('Java')
# 点击按钮, 实现查询
button.click()
time.sleep(5)
# 3) 关闭浏览器
browser.close()
动作连
有一些操作,没有特定的执行对象,比如鼠标拖曳、键盘按键等,这些动作用动作链来执行。
**示例:**利用程序完成页面https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable中“灰色方框”的拖拽
**分析:**在节点查找中根据 id 进行对象查找,如下图所示
代码:
import time
from selenium import webdriver
# 1). 通过浏览器驱动打开浏览器
from selenium.webdriver import ActionChains
browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
browser.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
# 【重要】源代码信息在子内联标签里面, 切换 frame 获取源代码.
browser.switch_to.frame('iframeResult')
# 获取source对象, id = draggable
source_element = browser.find_element_by_id('draggable')
# 获取target对象, id = droppable
target_element = browser.find_element_by_id('droppable')
# 将拖拽行为存储到行为链中
ac = ActionChains(browser)
ac.drag_and_drop(source_element, target_element)
# 执行所有存储的行为链
ac.perform()
# 3) 关闭浏览器
browser.close()
执行结果:
获取节点信息与延时等待
获取节点信息:
- 方法一:
page_source
属性获取网页源代码,接着使用解析库提取信息。 - 方法二:Selenium 提供选择节点的方法,返回的是 WebElement 类型,可直接提取节点信息 —>
标签对象.get_attribute('属性名')
、标签对象.text
延时等待:
- 隐式等待:
browser.implicitly_wait(10)
- 显式等待:
wait = WebDriverWait(browser, 10)
、input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
前进与后退
常使用浏览器时都有前进和后退功能,Selenium 也可以完成这个操作,它使用back()
方法后退,使用forward()
方法前进。
import time
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(3)
browser.forward()
browser.close()
Cookies
使用Selenium,还可以方便地对Cookies进行操作,例如获取、添加、删除Cookies等。
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('https://www.zhihu.com/explore/')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())
选项卡管理
在访问网页的时候,会开启一个个选项卡。Selenium也可以对选项卡进行操作。
代码示例:
from selenium import webdriver
# 1). 通过浏览器驱动打开浏览器
from selenium.webdriver import ActionChains
browser = webdriver.Firefox()
# 2). 通过浏览器访问网址
# 打开浏览器访问百度网站(第一个窗口)
browser.get('https://www.baidu.com')
# 打开第二个窗口(通过执行script脚本)
browser.execute_script('window.open()')
print(browser.window_handles)
# 切换窗口到第二个窗口
browser.switch_to.window(browser.window_handles[1])
browser.switch_to.window(browser.window_handles[0])
browser.get('https://www.python.org')
# 3) 关闭浏览器
browser.close()
异常处理
在使用Selenium的过程中,难免会遇到一些异常,例如超时、节点未找到等错误,一旦出现此类错误,程序便不会继续运行了。这里我们可以使用try except语句来捕获各种异常。
2. 案例:基于Selenium实现QQ邮箱登录
**项目介绍:**通过Selenium来模拟浏览器操作,并用Xpath解析输入邮箱账户名和密码并实现登录测试。一般用于自动化测试中。
代码示例:
# 导入单元测试模块
import unittest
from selenium import webdriver
from passwd import passwd as mail_pwd # 创建一个passwd.py存储你的邮箱登录密码,格式为:passwd='xxxxx'
class QQ_mail(unittest.TestCase):
def setUp(self) -> None:
"""
执行测试用例之前做的事情
:return:
"""
self.driver = webdriver.Firefox()
self.mail_url = 'https://mail.qq.com/'
print("QQ邮箱正在启动中........")
def test_mail_qq_login(self):
driver = self.driver
# 将窗口最大化
driver.maximize_window()
# get方式访问QQ邮箱的网址
driver.get(self.mail_url)
# 切换到login_frame的frame窗口中
driver.switch_to.frame('login_frame')
# 获取填写用户名/QQ号码的input对象
# <input type="text" class="inputstyle" id="u" name="u" value="" tabindex="1">
username = driver.find_element_by_xpath('//*[@id="u"]')
username.send_keys('xxxxx') # 你的qq号
# 获取填写密码的input对象
# <input type="password" class="inputstyle password" id="p" name="p" value="" maxlength="16" tabindex="2">
password = driver.find_element_by_xpath('//*[@id="p"]')
password.send_keys(mail_pwd) # 注意:填写的是你的QQ邮箱密码
# 获取登录按钮的对象
# <input type="submit" tabindex="6" value="登 录" class="btn" id="login_button">
login_btn = driver.find_element_by_xpath('//*[@id="login_button"]')
login_btn.click()
print("QQ邮箱登录成功")